ここ質問スレではないと思うけど。。

例外が発生する理由はImage.FromFile("e:\test.jpg")で作ったイメージが
ファイルを削除しようとした時点でもまだ生きてるから。

ドトネトではGCが採用されて、オブジェクトが参照されなくなっても
直ちには破棄されないのは知ってるよね？