for (int i = 0; i < 10000; i++) {
  var bmp = new Bitmap(1024, 1024);
}

AnyCPCだと例外が発生、x64だとメモリを限界まで使ったタイミングでGCが動いて例外は起こらず
ちなみにAnyCPUでもDisposeしてあげれば問題なく動作したよ