なんで手動削除する必要があるの？
俺いつもjavaアンインスト→新しいjavaインストってやってるけど
firefoxのプラグインでjavaの古いの残ったことないよ
アーカイブやセットアップexe解凍して使ってると違うのかな