>134のサイトからbash落としてきて入れてみたのですが、
やっぱり日本語を1文字ずつ削除できません。
何か設定ってありますか？
関係ありそうな自分の設定を以下に書いときます。
.inputrc
set convert-meta off
set meta-flag on
set output-meta on
set input-meta on

.bashrc
export LANG=ja_JP.UTF-8

日本語入力は「Anthy」でやってます。
ターミナルは「qpe-embeddedkonsole-ja ワイド版 」
ターミナルのCharsetはUTF8に変えてます。
ターミナル起動した後、bashと入力して、ログイン時のbashから
インストールしたbashに切り替えてます。
(bash --versionと入力すると3.1.17(1)-release〜
と表示されてるので古いbashが起動されてることは無いと思います。)