・小さなファイル(500Byte程度)が6000個ある
・全てのファイル名はユニークで、一つのディレクトリ内に集めれている
・あるファイルと、中身の文字列が全く一緒であるファイルが最大20個程度
　ある可能性があります(内容ダブっているってこと。)

これらのファイルを、内容が重複するものを削除したいのです。
更に、A⊃B となるような(Aは、Bの内容になんらかの文字列を追加したもの)
ファイルもあるので、Bも無駄なので削除してしまいたいのです。

最速、いやせめて実用的な方法ってどうやればいいんでしょう。。