COMオブジェクトがリークしてんじゃねーの?
Marshal.ReleaseComObjectし忘れ。

例えば
var hoge = ie.Document.getHogeHoge();
↑
ie.DocumentのところでHTMLDocumentClassオブジェクトがリーク