いずれにせよ、現在の技術では「いかにして構造をもった
文章を理解するか」という最初の段階から、まだまだ苦労が多いです。
たとえば >>1 にあげた Juman や ChaSen などは、
新聞記事に対してはチューニングされているので
ある程度まともな結果を出しますが、2ちゃんねるの文章を解析させても
間違いだらけでしょう。形態素解析ひとつとってみても、
これですから、その先の構文解析となるとさらに大変なのが想像できます。

また、原理的には可能だが、実際に実用的なソフトウエアを
つくるとなると複雑すぎ、あるいは必要なデータが多すぎて
金がかかりすぎるというものもあります。
(たとえば莫大な予算を投入して何百人もの人を雇い、
完全な日本語の連想辞書のようなものを作れば、さきほどの
Query Expansion のような技術はかなりうまくいくかもしれませんが、
そんな資金はふつうありません)。