何だ？仕様変更があったのか？
俺が使ってるのはv1.0.3705だが。
お前本当に
public static void Main() {
string fileName = "sample.jpg";

Stream stream = new FileStream(fileName, FileMode.Open, FileAccess.Read);
Image image = new Bitmap(stream);
stream.Close();

File.Delete(fileName);
}
ってやってみたのかよ？
もしそれでも例外でるなら、実際に他のプロセスが使ってるんだろ（シェルとか