MMCの問題は、そういえば私も昔食らった覚えがあります。
素直にMMCを閉じてDeleteしたような……

恐らくMMCがハンドルを開いているので削除できないのだと思いますが全くの憶測です。
強制的にサービスのハンドルを削除する方法があれば何とかなるかもしれませんが、
すみませんが私の知識では解決策は提供できません。