>>8 の内容だけなら tokenizer で普通に実装できる。

>>17 で行ってる途中でデリミタを変えるのは難しいかもしれないけど。