問題はそれで解決するかもしれんが、あんまりいぐねえんじゃね？
俺なら削除するかもしれないファイルを表示するのなら、

PictureBoxのImageプロパティに突っ込むんじゃなくて、
面倒でもDrawImageしてその都度破棄するようにするけどな。