必須でもないJavaVMをインストールしたということは
JavaVMが必要なサイトを利用しているということですよね？
そこで動作確認すればいいんじゃないでしょうか？

気になるようでしたら再度64bit版、32bit版をともに削除し、
OS再起動、IE 64bit版でJava7u4にUpdate、
OS再起動、IE 32bit版もJava7u4にUpdate。

IE 64bit版でチェック、IE 32bit版でチェック。
これでどうでしょうか？

HPでJavaの有無を確認したことはありませんが、
64bit版だけ入れて、IE 32bit版でチェックしたりしていませんか？
AdobeFlashPlayerのwebインストールと違ってJavaVMは必要なら
64bit、32bit、両方入れる必要があります。
64bit版は自動更新されません。