GC.Collect。すなわちガベコレが管理しているのは、マネージのみ。
ポインタなどアンマネージなメモリーは、対象にならない。
どこかのポインタかわからないが勝手に持ってきたポインタなら責任をもって解放するしかない。

方法としては、Bitmapクラスを派生させて、Disposeをオーバーライドして
そこでポインタを解放するコードを書く。

それとGC.Collectしたからと、すぐに解放されるとは限らない。