32コメント8KB

検索エンジンってどうやってんの？

■ このスレッドは過去ログ倉庫に格納されています

0001デフォルトの名無しさん

NGNG

gooとかgoogleみたいなロボット型の検索エンジンって
どうやってインターネット上の膨大な量のファイルを
データベース化してるんでしょう？？
すっげー疑問です。教えてください。

0002デフォルトの名無しさん

NGNG

2(・∀・)ｨイ！

0003　

NGNG

馬鹿正直に溜め込んでんじゃねーの？

0004デフォルトの名無しさん

NGNG

“全文検索”でも調べてみれば～

0005デフォルトの名無しさん

NGNG

スパイダーマンを雇う

0006デフォルトの名無しさん

NGNG

結構むかしの記事だけど、googleは六千台のLinuxマシンで構築されてると聞いたな

0007デフォルトの名無しさん

NGNG

ぐぐるって
どこがやってんだ？
あれやってることで利益がどこかにでてんの？

0008デフォルトの名無しさん

NGNG

>>7
出てません。
おかげで身売りに出されてしまいました。
http://www.zdnet.co.jp/news/reuters/020212/e_google.html

00098

NGNG

かっちょいいです。おひとつですか？
http://www.google.com/appliance/

0010デフォルトの名無しさん

NGNG

Googleが出てくるまで最高速だったアルタビスタは、
アルファマシンを並列処理。データはオンメモリ。
タグや画像などを除いたテキスト部分は、
全世界のＨＰを集めても、そんなに大きくない。

そう言えば、最近Googleは２ちゃんをはずしてるみたいね。
ひと頃は２ちゃんの過去ログばっかヒットして、先が思いやられた(笑)。

0011デフォルトの名無しさん

NGNG

ぐぐるの人は、タイトル画像をコロコロ変えてるから暇なんじゃないの？

0012デフォルトの名無しさん

NGNG

んじゃさぁ、どうやって全て未知のファイルを
ボットで探し回れるの？

0013デフォルトの名無しさん

NGNG

>>11
あれはマーケティングの一貫っしょ。
ユーザに話題にしてもらえたらそれで勝利。

0014デフォルトの名無しさん

NGNG

>>12
ただリンクをたどっているだけ。
完全に独立しているページは収集されない。

0015デフォルトの名無しさん

NGNG

>>14
へぇ、そうなんだ。
だったら
完全な独立ページなら
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
こんなのを記述する必要はないってことか。
いいことを知った。

0016デフォルトの名無しさん

NGNG

・独立ページをブックマーク代わりに使う
・飛び先ページでreferrer取られてログに残る
・検索スパイダーにログを読まれる
(ﾟдﾟ)ｳﾏｰ

0017デフォルトの名無しさん

NGNG

完全に独立ページって絶対にバレることってないの？
指定したIPアドレスの範囲に存在するhtmlファイルを探し出すツールを
どっかで見た記憶が・・・。

0018デフォルトの名無しさん

NGNG

ムリでねーの。
指定IPアドレス範囲に存在するhttpサーバなら、80番ポートを叩いていけば見つかるけど。

ただ、絶対バレないとは言い切れない。
ファイルパスを盲撃ちか辞書攻撃みたいな真似でリクエスト投げ続ければ見つかる可能性はある。

001917

NGNG

>>18
言われるとやっぱそれっぽいすね。
私の勘違いか。

0020名無し募集中。。。

NGNG

∋oノハo∈
　(　´ⅴ｀)ノ＜アーイ♪

0021デフォルトの名無しさん

NGNG

疑問なのでage

テキストで保存するにしても20億ページのテキストだろ。
どうやって0.2秒とかで検索できるのか分からん。
4Gのメモリ詰んで、8000台で検索させたとしてもたかだか32,000GB=32TB

キャッシュの内容はHDDにあるとしても、PageRankが高いページのテキストは
常にオンメモリになるような事をしているのだろうか？

0022デフォルトの名無しさん

NGNG

>>21
ひょっとして君はすてべのテキストについて最初から探そうとしていないか。

0023デフォルトの名無しさん

NGNG

>>22
ある程度の構文解析はしてるのが分かるんだが。
例えば、
「Visual C++ に関する技術資料をまとめて紹介しております」を検索すると
Visual
C++ に関する技術資料をまとめて紹介
が黒字で出る。「しております」なんて文末は削られてるので単語単位で
登録されているとは思う。
ただ、仮にインデックス部分だけが登録されてるにせよ、全文の元の形は
確実にオンメモリに載っていると思うんだわ。
これの検索0.1秒だし。

0024デフォルトの名無しさん

NGNG

namazuのソースでも読んだらどうだ？と思わせる罠

0025デフォルトの名無しさん

NGNG

　　 θ　η
　 (　ﾟ．ﾟ；)
　ι⊃ ⊂ゝ
　　｜＿｜
　　Ｏ　　Ｏ
googleは他の検索サーバさんから金をもらってるのでウハウハです。

0026デフォルトの名無しさん

NGNG

>>6
ようするに物量作戦か。

0027デフォルトの名無しさん

NGNG

anagramつかって、インデックスつくってあって、
距離1で an-na-ag-gr-ra-am つう繋がりがあるファイル/オフセットの組を求める。
Googleのﾊﾞﾔｲ、インデックスはオンメモリで、
URLキャッシュ・ファイルはディスク上に置いてあって、
数日～数週間周期で URLキャッシュとインデックスの部分更新を繰り返してる

0028デフォルトの名無しさん

NGNG

おまえらそんなことも知らないのか
サーバーにポケコン使っているから速いんだろ

0029デフォルトの名無しさん

NGNG

>>23
> C++ に関する技術資料をまとめて紹介
> が黒字で出る。「しております」なんて文末は削られてるので単語単位で
> 登録されているとは思う。

その前に「単語」ってなによ？

ヨーロッパ言語の場合スペースごととかで１単語ってのはわかるよね。
スペースがない場合はどうか？
基本的には日本語とか中国語とか韓国語とかの場合、文字１文字が単語だと思う。
タイ語とかは、やっぱり辞書で単語を見極めているかな。という気がする。

0030デフォルトの名無しさん

NGNG

>>26
今はさらに増えて 20000 台

0031デフォルトの名無しさん

NGNG

>>29 文字１文字が単語だと思う。

あっち逝け
　http://pc.2ch.net/test/read.cgi/tech/1011988273/l50

0032デフォルトの名無しさん

NGNG

>>11
ﾜﾗﾀ

■ このスレッドは過去ログ倉庫に格納されています