ググってこの辺を見つけたのですが、真似してもうまく行きませんでした。
http://web.archive.org/web/20051123112406/http://www.numeric.co.jp/Win32.htm
http://ir9.jp/prog/ayu/datlog/tech_win32api/1163375772/1163375772_01.html　これの153〜

FILE_FLAG_DELETE_ON_CLOSE法はうまく行かない、と書いている方も居ますし、
こちらも実際にやって駄目だったようです。上記スレの失敗したと書いている
人の経験をなぞっただけでした。

結局ここで見つけたバッチファイルを使って消す方法を採用しました。
http://www.microsoft.com/msj/archive/SF9C.aspx

ほかにも方法が示されていますが、再起動する方法は
とりたくなかったのと（再起動してください、というのは
嫌うユーザーがいるので）、あともう一個の難しそうなのは
ダウンロードしたDelExe.exeを試しても自分が消えなかった…。

http://www.microsoft.com/msj/archive/WIN32QA5.gif
↑このツールのキャンセルボタンに割り当てられている
方法でDelExe.exe自身が消去される人いますでしょうか？

こちらでは消えませんでした。

バッチファイルの方法は、特に何かが残るでもなく、余計なウインドウが
一瞬開いて見える様なこともなく、今のところ問題なさそうです。