超高機能なサーチエンジンを作りたいんだけど
■ このスレッドは過去ログ倉庫に格納されています
0167163
NGNG>テキストの構造を解析する方法は形態素解析がベストなんでしょうか?
個人的な見解だとYes。品詞情報を使えるのも大きいと思う。
N-gramを用いる方法もあるけど、検索結果にノイズが混じりすぎる。
もう一つ、漏れが学生時代に試したので、
「文字種のつながりで単語を認識する」ってのがある。
アルファベット、漢字、カタカナが連続して出てくるものは同一単語としてみなすだけ。
「キーワード抽出だと、NTCIRのNEタスクの論文なんかが参考になるかも。」
を例に挙げると、"キーワード"、"抽出"、"NTCIR"、等が該当する。
2chのログには有効かもしれん。(藁
■ このスレッドは過去ログ倉庫に格納されています