HDDに50GB位の最頻出パターンファイル作って
インデックス化すればいいんだよ。
超高圧縮間違いなし。