問題文が無いんで、自分なりに説明すると、
文字列を単語に分割する。単語の種類には、予約語、識別子、整定数、文字定数、特殊記号がある。予約語、特殊記号はテキスト参照。
文字列はプログラミング言語ＫＰＬを適当に作成し、それを読み込んでくる。
環境はＣ言語、ＯＳはＬｉｎｕｘで、Gnome端末というものでemacsを使っています。