問題は切り出したトークンの重複と連続した'\0'のとき
うまくいかないということだけなんだが・・・・うーむ