>>878
分かってるっぽいけど「複数のトークン」じゃなくて、「複数文字のトークン」。
構文解析のときに一文字ずつ解析するより、ブロックごとの方が効率良くなるという話。
とりあえず、ライブラリで字句解析するみたいだからこの辺で止めとく。

あと、コメントに書いたように、"う\うう"だと"ううう"と同じに解釈されるからね。
"う\\うう"じゃないと、文字列にバックスラッシュが含まれることにならない。
あと、colonの区別が付かないのはread-from-stringしてるから。
元の値を使えば良いと思うんだけど、readしてるのは何か事情があるの？