>>73,75
例えば↓のような文字列をトークン単位で分割できるか？
for(i=0;i<size;i++){unko("うんこ？\"Yes/No\"");}

結果は

for ( i = 0 ; i < size ; i + + ) { unko ( " うんこ? "Yes/No" " ) ; }

って感じになるようにしたい。
（tokenizerはなんか俺のしたかったことがことごとく
できないような気がしたんだが今となってはなんでできなかったのか正直忘れてしまったぜｗ
ただ、俺がアフォだったからじゃなくて、なんかの機能がなくてできなかった気がするぜｗ）