boostみてきた。
なんかあんまよさそうじゃないなぁ・・・。

とりあえずね。

１．デリミタ文字を指定できるようにしたい。
２．トークン３つ目の読み込みで処理を中断する等、指定したトークン数で途中で処理を止められるようにしたい。
３．指定した文字と文字の間にある文字列はデリミタの適用をぬけて取得できるようにしたい。
４．指定した文字列を発見したら、処理を中断するようにしたい。
５．中断したところから再開したい。

ぐらいは入れたいと思ってるんだけどどうだろうか？
１と３が実現すればCSVファイルぐらいは一発で読めると思う。