すいません、質問です。
大体5万行くらいの大きさのテキストファイルから、
重複している行
（連続して重複してるわけでは無く、内容が同じ行が
とびとびに存在してる）を一つのこして、残りは省く
というスクリプトを書く場合、
1）1行目はそのまま書き出す
2）2行目は1行目と比較して、同じだったら書き出さない、違ったら書き出す
3）3行目は1行目と比較して、同じだったら書き出さない、違ったら2行目と比較して、、、
4）以下繰り替えし

このようなスクリプトしか無いのでしょうか？
処理に非常に時間がかかるので、何か良い方法があったら、御教示下さい。