>>579
StringTokenizerは 特定のトークンで切り出すというメソッドですよね？
例えば
for ( int i = 0; i < 10; i++ )
なら 問題なくスペースをトークンとして切り出せるのですが
for(int i = 0; i<10; i++)
のように詰めた書き方もありますよね
この場合うまく切り出せないのではないかと思いました

あと StreamTokenizerのほうが 構文解析のためのメソッドが充実してないですかね？