巨大テキスト検索の専門化集合！ＨＥＬＰ！
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠お腹いっぱい。
NGNGＭＹＳＱＬのあいまい検索を使っても実行速度１０秒。ＳＵＦＡＲＹは早いんですがＡＮＤ検索が出来ないし・・。
巨大テキストファイルから高速検索できるような方法やソフトなどをご存知でしたら教えてください。
「デリミタがタブで改行コードにて一行とみてくれて、ＡＮＤ・ＯＲ検索が出来て、表示行数の指定ができる。」
というような方法（ソフト）を教えてください！。
0002名無しさん＠お腹いっぱい。
NGNG漏れは自分で作ったが快適
0003名無しさん＠お腹いっぱい。
NGNGそんなことしないからわかんないんだけど、
namazuじゃだめ？
それがだめならIBMのメインフレームでも使ってちょ。
0004名無しさん＠お腹いっぱい。
NGNGhttp://sary.namazu.org/
0005名無しさん＠お腹いっぱい。
NGNGsaryやsafuryを組み込んでＡＮＤ検索してみました。（Ｃ言語バージョン）
ＡＮＤはやはり、ループでまわして一つ一つ照合しないとダメなのでしょうか。
ループだと複数になると、時間がかかってしまいます。
ループ以外のアルゴリズムなどあったら是非ご教授おねがいいたします。
0006nobody@65535
NGNGあとはANDとるだけ。
1行何フィールドで何行、何種類の単語が出現するのか知らんが、
全部オンメモリで処理すればこれは速ぇーぞー(笑)。
0007名無しさん＠お腹いっぱい。
NGNGそれなら、ＳＵＦＦＩＸ ＡＲＲＡＹを使用しました。
６＞「あとはＡＮＤをとるだけ」
詳しくはどのようにしてＡＮＤをとればよろしいのでしょうか？。
もしくはビットマップを作成するときにＳＵＦＦＩＸＡＲＲＹではなく、
もっと高度なアルゴリズムで簡単にＡＮＤをとれるのでしょうか？。
より良いアルゴリズムなどありましたら、是非おしえてください。
日本語・英語の文献ページなどありましたら、ご紹介ください。
0008名無しさん＠お腹いっぱい。
NGNGbitごとの論理積をとれって話でしょ。
インデックスは行番号とビットマップだけじゃなくてseek値も格納しとくといいんじゃないかな。
RDBMSでやろうとしてるみたいだけど無謀だからやめとけ。
0009ゆい
NGNG0010DQN
NGNG速いマシンで、
220MBがファイルデータキャッシュに載れば速いかも。
計ってませんが。
-AND
% grep str1 |grep str2 |head -行数
-OR
% grep -e str1 -e str2 |head -行数
カラム指定で検索したいなら工夫がいるな...
0011いひひ
NGNGたーんとメモリ積んで最初からMemory File Systemで
やればすむだけのような気が。
0012名無しさん＠お腹いっぱい。
NGNG岩波の「自然言語処理」って本にやり方がちょっと載ってるよ．
まぁ簡単だから，立ち読みでも十分ぽい．
あとはハッシュとかバイナリサーチ使えばかなり速いと思う．
ついでに言うと，アルゴリズムは簡単だけど，単語の揺らぎとか
を考えたりすると面倒かも．
0013名無しさん＠お腹いっぱい。
NGNG終了
0014ぺー
NGNG0015ナナシ
NGNG0016名無しさん＠お腹いっぱい。
NGNGfind / -name '*netscape*'
ってやったんですけど、ありませんでした
で、昨日うろうろしていたら、ありました。
この検索のやりかたっておかしいんですか？
0017ぺー
NGNG0019名無しさん＠お腹いっぱい。
NGNG>>16
find / -name '*netscape*' -print
でないと、何も出てきません。
man ページの説明はちょっとややこしい書き方がしてあるので初心者には
わかりづらいと思います。
おおざっぱにいって、 find のオプションは、評価結果によって適合したら後のオプションが
評価(実行)されるしかけになっています。
find / -name '*netscape*'
では、ファイル名のチェックは行いますが、続くオプションが無いので、
何も出力されません。
find / -print
で全ファイル名が出力されます。
find / -name '*netscape*' -print
だと、各ファイルについて、 '*netscape*' に名前が合致するかどうかチェックし、
合致した場合のみ、続く -print オプションが実行されて、ファイル名が出力されます。
この基本的な流れが理解できれば、 あとは manページの内容を読めば、
他の機能の使い方もわかると思います。
（/ を起点にした find はシステムによっては相当の負荷になるので、
会社の機械などで実行する場合は注意してください。 ）
0020名無しさん＠お腹いっぱい。
NGNG0021test ◆ITGbUipI
NGNG0023名無しさん＠お腹いっぱい。
NGNG(;´Д`)ﾊｧﾊｧ
0024名無しさん＠お腹いっぱい。
NGNGって前野ｾｿｾｲ？
0025名無しさん＠お腹いっぱい。
NGNGverifyしてないから、信頼性はまったくありませんです。
0027名無しさん＠お腹いっぱい。
NGNG0028名無しさん＠お腹いっぱい。
NGNGなるほど
0030名無しさん＠お腹いっぱい。
NGNG0031名無しさん＠お腹いっぱい。
NGNGtest
test
0032名無しさん＠お腹いっぱい。
NGNG0033名無しさん＠お腹いっぱい。
NGNG0034名無しさん＠お腹いっぱい。
NGNG0035名無しさん＠お腹いっぱい。
NGNGこんな落ち目のスレを覗いてるアンタもな
0036名無しさん＠カラアゲうまうま
NGNGｵ､ｵ､ｵ､ｵﾏ､ｵﾏ､オマエモナー！ (;´Д`)ﾊｧﾊｧ
0037名無しさん＠ＸＥｍａｃｓ
NGNG0038名無しさん＠お腹いっぱい。
NGNGせーのっ！
(;ﾟ∀ﾟ)=3ﾊｧﾊｧ(;ﾟ∀ﾟ)=3ﾊｧﾊｧ(;ﾟ∀ﾟ)=3ﾊｧﾊｧ
0039名無しさん＠お腹いっぱい。
NGNG0040名無しさん＠お腹いっぱい。
NGNG0041名無しさん＠お腹いっぱい。
NGNGうっさいハゲ。適当なことほざくな煽るだけなら誰でもできるんだよ。
あおりたければそれなりの根拠もってこいボケカスクズ。くたばれ。
↓よければ次どうぞ
0042名無しさん＠お腹いっぱい。
NGNG真田タンﾊｧﾊｧ…
ゴールデンタイムに乳首立ちまくりのメニアに萌えまくりですが…
な に か ？
0043名無しさん＠ＸＥｍａｃｓ
NGNG0044名無しさん＠Ｍｅａｄｏｗ
NGNG0045名無しさん＠Ｖｉｍ
NGNG0046名無しさん＠お腹いっぱい。
NGNGﾁｸｰﾋﾞ ﾜｼｮｰｲ!
さぁ皆さんご一緒に！！
ﾁｸｰﾋﾞ ﾜｼｮｰｲ!
0047名無しさん＠お腹いっぱい夢いっぱい。
NGNGそんなことは神が許さぬぞ！！
0048名無しさん＠お腹いっぱい。
NGNGIEユーザはけん
0049名無しさん＠お腹いっぱい。
NGNG0050名無しさん＠ＸＥｍａｃｓ
NGNG0051名無しさん＠お腹いっぱい。
NGNG0052名無しさん＠お腹いっぱい。
NGNG0053名無しさん＠お腹いっぱい。
NGNG0054名無しさん＠お腹いっぱい。
NGNG0055名無しさん＠お腹いっぱい。
NGNG0056名無しさん＠お腹いっぱい。
NGNG0057名無しさん＠お腹いっぱい。
NGNG0058>>57
NGNG0059test
NGNG0060test
NGNG0061名無しさん＠ＸＥｍａｃｓ
NGNG0062名無しさん＠お腹いっぱい。
NGNG0063名無しさん＠お腹いっぱい。
NGNGmoge
0064名無しさん＠カラアゲうまうま
NGNG0065名無しさん＠お腹いっぱい。
NGNG何かね、やたら元気な魔女の婆さんが出てくる CM なの。
0066名無しさん＠お腹いっぱい。
NGNG0067名無しさん＠お腹いっぱい。
NGNG0068名無しさん＠カラアゲうまうま
NGNGよう、久しぶりだな
>>69
氏ね
0069名無しさん＠お腹いっぱい。
NGNG>>70
いっしょにどう?
0070bloom
NGNG0071名無しさん＠お腹いっぱい。
NGNGdat 落ちするかしないか位のスリルを味わうのがたまらなかったってのに …
こんな「巨大テキスト検索の専門化集合！ＨＥＬＰ！」 なんぞ
何の魅力もねぇ野グソスレなんだよ！わかったか！？
わかったら >>70 は尿道に針千本突っ込んで氏ね！！
0072名無しさん＠お腹いっぱい。
NGNG裸の少女にせまる惨劇
0073名無しさん
NGNGΛ＿Λ | 君さぁ こんなスレッド立てるから |
（ ´∀｀）＜ 厨房って言われちゃうんだよ |
（ ΛΛ つ ＞―――――――――――――――――――‐＜
( ﾟДﾟ) ＜ おまえのことを必要としてる奴なんて |
/つつ | いないんだからさっさと回線切って首吊れ |
＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿_／
(-＿-) ﾊﾔｸｼﾝﾃﾞﾈ… (-＿-) ﾊﾔｸｼﾝﾃﾞﾈ… (-＿-) ﾊﾔｸｼﾝﾃﾞﾈ…
(∩∩) (∩∩) (∩∩)
(-＿-) ﾊﾔｸｼﾝﾃﾞﾈ… (-＿-) ﾊﾔｸｼﾝﾃﾞﾈ… (-＿-) ﾊﾔｸｼﾝﾃﾞﾈ…
(∩∩) (∩∩) (∩∩)
(-＿-) ﾊﾔｸｼﾝﾃﾞﾈ… (-＿-) ﾊﾔｸｼﾝﾃﾞﾈ… (-＿-) ﾊﾔｸｼﾝﾃﾞﾈ…
(∩∩) (∩∩) (∩∩)
0074名無しさん＠お腹いっぱい。
NGNG0075山崎渉
NGNG0076山崎渉
NGNG0077山崎渉
NGNG（ ＾＾ ）＜ ぬるぽ（＾＾）
0078山崎 渉
NGNG__∧＿∧_
|（ ＾＾ ）| ＜寝るぽ（＾＾）
|＼⌒⌒⌒＼
＼ |⌒⌒⌒~| 山崎渉
~￣￣￣￣
0079あぼーん
NGNG0080あぼーん
NGNG0081名無しさん
NGNG高速に検索してるんですか？
0082名無しさん＠お腹いっぱい。
NGNG0083名無しさん＠お腹いっぱい。
NGNG入力されたキーワードを、検索の専門家が
他の検索エンジンで検索しています。
0084名無しさん＠お腹いっぱい。
NGNGGoogleの中の人も大変だな。
0085蕪木ら某 ◆Googl8RmwA
NGNGttp://www.watch.impress.co.jp/internet/www/article/2002/0712/openf.htm
> Googleは、すべてのインデックスをハードディスクではなくメモリに
> 蓄えることにより計算速度を大幅に速めているが、1万以上の
> Pentiumマシンを使っているためにハードウェアにかかるコストが
> 莫大になる
!?
0086名無しさん＠お腹いっぱい。
NGNG要するにだ、1万人以上の検索専門家を抱えているから
コストが莫大になるってことだよ。
0087名無しさん＠お腹いっぱい。
NGNG> Googleは、すべてのインデックスをハードディスクではなく脳内に
> 蓄えることにより計算速度を大幅に速めているが、1万人以上の
> マシンを使っているためにハードウェアにかかるコストが
> 莫大になる
0088名無しさん＠お腹いっぱい。
NGNG0089名無しさん＠お腹いっぱい。
NGNG検索専門家ってゴルゴみたく精密機械として扱われるの？
0090名無しさん＠お腹いっぱい。
NGNG■ このスレッドは過去ログ倉庫に格納されています