>>55
先生！ thisとかisとかhasとかが大変なことに

この課題は真面目にやろうとすれば形態素解析とかまでやらざるを得ない
例えば過去分詞に見えて実は形容詞として使われているとかあるし
それが面倒だからといってあまりにも機械的すぎるとthisみたいな
基本的な単語でさえおかしなことになってしまう
よく使われるものほど不規則であることが多いし

多分肝心なのは出題者の意図を汲み取ることだと思う
本当にThorndike Tableを出力するプログラムを作らせたいのか
それともテキストを一定の基本単位に分割して簡単な変形をするフィルタに通し
その出現頻度をカウントしてさらにソートする
という一連の手続きをコーディングできるかどうかをみたいだけなのか
それとも他に注目したいものがあるのか
そのあたり次第でどこまで手を抜くのかが決まってくる
出題意図を推測できないのなら出題者に直接問い質すべきだったと思う