>>616
ファイルからImageクラスのインスタンスを作成すると
そのインスタンスが破棄されるかDisposeされるまで閉じられない

で、こうする
using(var src = Image.FromFile("hoge.png")){

pictureBox1.Image = src.Clone();
}