本気も何も、字句解析をtokenizationの意味で言ってるのだとしたら当然できる。
正規表現ってもともとそこに来歴があるし。
flexのinfoは日本語訳もあるから読んでみたら？