今試したんだけど、ロックを取得しているファイルがあるとそのエラーが出るね。
ロックを開放すれば削除できるようになる。