dirs -c でディレクトリスタックをクリアできますが、全部削除するのではなく、
古い方から○個までを削除、みたいなことはできないでしょうか?