それは字句解析。tokenizerの仕事じゃないよ。
boost::spiritでも使いなされ。