チャットのログを手作業でコピーしていったテキストファイルがあります。
チャットでは1画面に100行ほど表示されているので、それをメモ帳に適当な間隔でコピーしています。

なので重複した行の塊が多数あり、その重複ブロックを削除したいと考えています。


一行の重複であれば簡単に削除できるのですが、塊となるとどのように処理すればよいのかわかりません。
そういったアルゴリズムなどはあるでしょうか?