>>905
やや間違った答えをしてしまった。
ちょっと調べてたんだが、

・フォントのインストールはレジストリもいじる必要がある。
　（HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT(9x系はWindows)\CurrentVersion\Fonts）
・レジストリにはフォント名一覧のほかにFontLinkなどのキーで
　フォントの名前だけを変更できる。（ショートカットみたいなもの）
・フォントをコードから削除してもフォントフォルダを開いている場合は
　更新してもフォルダの内容は変更されない。
　（もう一度開きなおす必要がある）
・一度使用したプロセスが生きている限りフォントは削除できない。
　（エクスプローラーでも一緒。）

最後のは体験で言ってるだけだけど。

http://homepage2.nifty.com/winfaq/fontstrouble.html
http://www.dais.is.tohoku.ac.jp/~kabe/win/msgothic/g-both.html
これ参考になるかな？

>>913
それはたぶんVBで削除した後、レジストリを削除していないか
フォントフォルダが更新されていない状態。

その場合、エクスプローラーで削除するとエラーが出た後
レジストリをエクスプローラーが修正して開きなおす。
だから削除されたように見えるはず。

どちらにしても使用中のフォントは削除できない。
再起動時に削除するようにしとき。