作っているのはツリー構造のリストで、ファイル構造にたとえて言うと

TDirectory
　Files: 自分が含むファイルのリスト
　Directories: 自分が含むディレクトリのリスト
　AllFiles: サブディレクトリも含め、自分以下に存在するすべてのファイルのリスト（これが問題）

ようなデータ構造です。で、自分が今作っているものは
ファイル構造でたとえれば
「複数のディレクトリが、まったく同一のファイルを持つ事もある」
ような構造なのです