>>736
VC6,Shift-JISでやってみた。
http://kansai2channeler.hp.infoseek.co.jp/cgi-bin/joyful/img/1698.txt
トークン化のアルゴリズムがいまいちで面白くないかもしれん。