正直、それは対応しなくてもよくね？
というかマトモにコメントに対応しようとしたらC言語のlexerつくるのと大差ないし。
この手の真面目にやればやるほど難しくなる課題ってのは嫌だなぁ。