Javaで日本語をTokenに分割する方法ないでしょうか、、、、？？？
JavaCCを使ってみたんですが、結局はTokenの定義が難しい、、、
どなたか、知りませんか？？