protected void PicView()
{
Image image = new Bitmap(fileListBox.SelectedItem.ToString());
Image clone = (Image)image.Clone();
image.Dispose();
pictureBox1.Image=clone;
this.SetClientSizeCore(this.pictureBox1.Width, this.pictureBox1.Height);
}

protected void DelFile()
{
FileInfo fi=new FileInfo(fileListBox.SelectedItem.ToString());
fileListBox.Items.RemoveAt(fileListBox.SelectedIndex);
pictureBox1.Image.Dispose();
fi.Delete();
}

Image image = new Bitmap("c:\test.jpg");
Image clone = (Image)image.Clone();
image.Dispose();

pictureBox.Image = clone;
これだけだとだめでDelFile()メソッドでpictureBox1.Image.Dispose();もやってやっと削除できました。
しかし、一番先頭のファイルを削除する場合やはり「他のプロセスで使用中」とでます。

すんなり行かないものっすねー。VBだと簡単だったのに