StreamTokenizerで扱えるトークンは
　・ 数値
　・ ワード (英数字のつらなり、文字列定数、その他の記号)
　・ 行末、ファイル末検出
　* コメント記号(#等)以降行末まで読み飛ばし
程度。任意のトークンを追加登録する機能はない。
簡単な設定ファイル程度ならともかく
Java言語の字句解析には機能不足だ。

Java言語の構文解析が目的ならば、
パーサ生成プログラムを使うって作るか、
ありもののパーサを探すのが良い。