UACが有効だと、Program files下にインストールした
ファイルをアンインストール(DeleteFile)してもファイル
が消えないです。

こういう場合はどうするのがセオリーでしょうか?
(ユーザー権限はAdminです)

UACを無効にすればひとまず回避できますが、ユーザーに
それをお願いするのもイマイチですし…