ループ処理は遅いので、5千行までなら、whileを使える
forはさらに遅い

10万行のループ処理にかかる時間は、whileは5秒、forは9分
それらを、awkとperlに書き直せば、0.1秒

なぜｼｪﾙｽｸﾘﾌﾟﾄ言語で大規模ｱﾌﾟﾘが作れないのか？
ttp://engawa.2ch.net/test/read.cgi/linux/1369567357/41

コマンドを、パイプで細かく区切ると速い
バッファにデータが流れている限り、プロセスが並行に動くから、
CPU使用率100%近くまで行く
CPUのパイプラインに似ている