コンパイラを書く宿題の第1段階で字句解析する部分を作れって言われたんですが
どこからどうやって始めればいいのか分かりません。

具体的には、LexicalAnalyzerクラスが短いテキストファイルを読み込んで、
lexメソッドが呼び出される度に1語(Token)ずつ返す感じで考えているのですが。
Tokenはint typeとString valueとint lineNumから成り立ってる単純なクラスです。

1字先を常に保存するnextCharみたいな変数がいるとかいらないとか・・・。