>>633　このファイルには重複が無いたぐいのデータですので、重複の検討は不要なんです。
>>634　ｻﾝｸｽｺです。DB使うと速いんだろうなーとは思っていたんですが、DBについて全く無知
なものでなんとなく遠慮してました。ちょっと勉強してみます。

質問自体は純粋な興味も含んでますのでテキスト形式で速い方法があれば、教えて頂きたいです。