指定したディレクトリ内のファイルを削除して
最後にそのディレクトリも削除するという仕組みを作っています。

$dir_name="test";
if(file_exists($dir_name)){
$dh = opendir($dir_name);
while($file = readdir($dh)){
if ($file != "." and $file != "..") {
unlink($dir_name./.$file);
}
}
rmdir($dir_name);
}

画像は削除されるものの、どうやってもディレクトリが削除されず、
パーミッションエラーになります。
（ちなみにローカル上でテストしているので、サーバはWinXPです）

ディレクトリ作成時はmkdir($dir_name,0777);
などにしているので、特にパーミッションの指定はしていません。

上記のソースの書き方が悪いのでしょうか？