>>39
> 日本語は変換に時間を食うからめちゃくちゃ効率が下がると思うんだけど。

パースする時の効率を言ってるのなら、所詮バイト列をマッチングしてるだけだから
あんまりかわらないぞ。バックトラックするわけでもないし。

それよりどこでトークンを区切るかの方が問題だと思う。
俺は空白で区切るより、「ひらがなから漢字もしくはカタカナに変わったとき」を
トークンの区切りにしたほうが日本語らしいと思う。
例)
引数1は <区切り> 整数

ま、難しいことはともかくとして、新年おめでとう。
ここに曙置いておきますね。
　　　　　 　 　 　 　 __,,,,,,
　　　　　　　　 ,.-'''"-─ `ー,--─'''''''''''i-､,,
　　　　　　,.-,/　　　　　 　 /::::::::::::::::::::::!,,　　＼
　　　　　（　 ,'　 　 　 　 　 i:::::::::::::::::::::;ﾉ　ヽ-､,,/''ー'''"7
　　　　　　`''|　 　 　 　 　 |:::::::::::::::::::::}　｀`ー''"
　　　　　　　 !　　　　　　　'､:::::::::::::::::::i
　　　　　　　 '､　`-=''''フ'ー''ヽ、::::::::::/ヽ､-─-､,,-'''ヽ　
　　　　　　　　 ＼＿／　　　　 ヽ--く　　 _,,,..--┴-､ ヽ
　　　　　　　　　　　　　　　　　　　　　｀`"　　　　　　＼>