いろいろ調べてみたんだけど、どうもbash(readline)がマルチバイト文字に
対応してないのが原因っぽい。
2.05b(readline4.3)ってバージョンから対応してるらしいんだけど、
cygwin上で試してる感じでは上手くいかない。
zshだとマルチバイトに対応してるらしい。

とりあえず、自分の調べた(わかった)事でした。
役に立たない情報だと思いますが...
すいませんが、zaurus上でbashを使って上手く日本語の削除が出来てる方
情報を下さい。よろしくお願いします。