>>643
詳しくは知らんけど、日本語のToken化って、例えば
http://chasen.aist-nara.ac.jp/index.html.ja
あたりを見てみれば。