そういえばアルゴリズムに関してのスレってないね。
ファイルベースなら、

単純な多重投稿禁止なら、投稿内容のチェックサム、MD5などを取って比較。
一行ごとの比較が必要なら、ログをindex関数で舐める。

大雑把だけど、私ならこんな感じで作るかな。
一行ごとの比較が必要なのか、再度検討してみては。
どんな方法でも結構大変な処理だし。
どうしてもやるなら工夫が必要。