boostのtokenizerを素直に使えば要素一つ読む毎に制御が戻るが、
それじゃだめなのか?