プロファイラ使えばどこで何がメモリ消費してるのかすぐ分かるのに
そのくらいならCLR Profiler（MS製･無償）あたりで十分。