超高機能なサーチエンジンを作りたいんだけど
■ このスレッドは過去ログ倉庫に格納されています
0001デフォルトの名無しさん
NGNGたしかに高速に結果は出るが、こうも余計なサイトが引っかかってくると
見る時間がもったいない。
そこで、そこそこ時間はかかるけど
結果は厳選されているそんなサーチエンジンを作りたいと思う。
俺はプログラマーだ。
プログラミングなら任せといてくれ。
でも、アルゴリズムがよくわからない。
あれ嫁これ嫁でもかまわない。
アドバイスをください。
その見返りとして、便利なサーチエンジンを提供します。
0002デフォルトの名無しさん
NGNG0003デフォルトの名無しさん
NGNG,.‐'´ `''‐- ､._ヽ /.i ∠,. -─;==:- ､ゝ‐;----// ヾ.､
[ |､! /'￣r'bゝ}二. {`´ '´＿_ （_Y_）,. |.r-'‐┬‐l l⌒ | }
ﾞl |｀} ..:ヽ--ﾞ‐´ﾘ￣ヽd､ '''' ￣￣ |l !ﾆ! !⌒ //
. i.! l .::::: ｿ;;:.. ヽ､._ _,ノ' ゞ）ノ./
｀ ｰ＝=--‐'´(__,. ..、 ￣￣￣ i／‐'／
i .:::ﾄ､ ￣ ´ l､_／::|
! |: |
ヽ ｰ‐==:ﾆﾆﾆ⊃ !:: ト､
おれたちはとんでもない思い違いをしていたようだ。これを見てみろ。
まず「クソスレ」を英字で表記する
『KUSOSURE』
これを逆にすると、
『ERUSOSUK』
そしてこれを更に日本語に直すと
『エルソサク』
スレを立てたのが>>1と言う事を考えれば末尾に『クソスレ』を加えるのが当然だ。
すると導き出される解は
『エルソサククソスレ』
そして最後の仕上げに意味不明な文字『エルソサク』
これはノイズと考えられるので削除し残りの文字を取り出す。
するとできあがる言葉は・・・・・・『クソスレ』。
つまり！『クソスレ』とは『まさにこのスレッド』を表す言葉だったのだ！！
0004デフォルトの名無しさん
NGNGもうすこし頭を使えない物か。
全然面白くないんだが。
0005デフォルトの名無しさん
NGNGそんなもんにいちいちツッコむなよ・・・
単発質問スレを立てるな！
0006デフォルトの名無しさん
NGNGまずGoogleに対する具体的な不満を述べてください
0007デフォルトの名無しさん
NGNG0008デフォルトの名無しさん
NGNGとてもじゃないが、あんな速いの作れる気がしないんだが。
0009デフォルトの名無しさん
NGNG中の人が多いんだよ。
0010デフォルトの名無しさん
NGNG0011デフォルトの名無しさん
NGNG遅いけど厳選された結果が帰ってくる検索エンジン。
0012デフォルトの名無しさん
NGNGハイテクだな。
0013デフォルトの名無しさん
NGNGなんだここは？
>このサーチエンジンは手動のため、返答に日数がかかります。
>はやぶさデータベースセンターは土日が休日となっておりますので、勝手ながら土日の検索依頼分は通常より２、３日遅れになります。
この２行が気になるどころじゃねー。手動？
0014デフォルトの名無しさん
NGNG0015デフォルトの名無しさん
NGNGGoogleはとんでもない贅沢なことやってるらしい。
あのデータベースは全てメモリ上に存在するとか・・・
そりゃ速いわ・・・
0016デフォルトの名無しさん
NGNGスクリプトをよく見て研究しる。
0017デフォルトの名無しさん
NGNG>>1はGoogleについて勉強するべきである。
0018デフォルトの名無しさん
NGNG並べてたり、とても個人が趣味で導入できるシロモノじゃないだろ。
プログラムも大事だがGoogleやAltaVista級のエンジンを
作るとなるとハイスペックなマシンも必要ってこったな。
0019デフォルトの名無しさん
NGNG有益なんじゃないかと
0021デフォルトの名無しさん
NGNG検索ワード: エロマンガ島
で検索してみた．約700日後に結果が返ってくるそうだ．
0022デフォルトの名無しさん
NGNG約二年か・・・ まあ、厳選された情報だから仕方ないね
0023デフォルトの名無しさん
NGNG厳選してる間にパラダイムシフトでも起きて、
結果が不用になってたりするんじゃないか。
0024デフォルトの名無しさん
NGNG0025デフォルトの名無しさん
NGNGあくどい宣伝ページが排除されているなら
すばらしい検索エンジンだと思う
0026デフォルトの名無しさん
NGNGを持つ人間が追加要請のリンクを審査して追加する。
あくどいページは排除されるし、画像ゲットのヒントやおすすめ
があればソレも同時に追加される。
リンク情報には記者の名前も追加され、記者についての評価は
任意で誰にでもできる。
検索条件に一定ランク以上の記者のリンクのみ、だとかも指定すると
良好な結果が帰ってきたりとか。
0027デフォルトの名無しさん
NGNGでも、サーチエンジンクラスになると
人手でやるのは無謀なんじゃないかと。
0028デフォルトの名無しさん
NGNG701日後が楽しみだ。
でも、もし俺が死んで悲しむ家族がこんな検索結果を見たら（ ´Д⊂
0029デフォルトの名無しさん
NGNG今そういうシステムを考えてるんだよ。
全然検索ではないんだけどね。
ｺﾞﾒﾝそれだけ。
0030デフォルトの名無しさん
NGNGありだと思う。
P2Pなサーチエンジンってのはどうだろう？
0031デフォルトの名無しさん
NGNGこれを見るとGoogleは1日何十台もマシンを追加してるらしいぞ。
0032デフォルトの名無しさん
NGNG高速回線限定の分散ネットワークをホストにするP2Pサーチエンジンとか面白そうだな
0033デフォルトの名無しさん
NGNG結果があいまいなサーチエンジンですか。
0034デフォルトの名無しさん
NGNG0035デフォルトの名無しさん
NGNG自分でカテゴリわけしとく
これなら、OKだよね
余計なサイトはひっかからない
ヤッホー！はこのやり方です
0036デフォルトの名無しさん
NGNGどのデータとデータを組み合わせるのか？
さらに、クラスタリング+超高性能なPCが必要。
これ、スポンサーないと無理。
さらに、データの収集。
そのためには、大容量のストレージと、太い回線が必要となる。
2ちゃんの過去ログ検索は、すでに実現してるね。
あれは、Windows+Namazuでおこなってるらしい。
でも自分で検索エンジン作るなら、まずは形態素解析やデータベースの知識が必須。
Googleは、英語のみならず様々な言語での検索が可能ってのは、
本当はすごい事だと思う。
素人が作れるレベルは、せいぜいNamazuでなんちゃって検索エンジンつくる程度。
0037デフォルトの名無しさん
NGNG形態素解析して、名詞だけをインデックスにしてるのかな？
個人でやるならP2Pなのかな？
0038デフォルトの名無しさん
NGNG0039デフォルトの名無しさん
NGNGあなたが言うP2Pとは一体なに？
誰かが検索エンジンのために、マシンのリソースを貸してくれて、
それをP2Pでクラスタリングするということ？
もしそうだとしたら、
検索エンジンのために、マシンのリソースを貸すというのは、
難しいと思うよ。現実的は話としては。
仮に可能だとしても、Googleを越えるのは無理。
何故なら、P2Pのマシン間の帯域は狭いから。
0041デフォルトの名無しさん
NGNGなかなか難しいとこだな。
似たようなこと昔やったけど。
googleにクエリー投げる
→ 結果からリンクのみ抽出
→ リンク先のページをGET
→ 形態素解析
→ 独自のランキングデータベースで再ランキング
→ 結果の表示
で、結果は・・・・。
ランキングデータベースのチューニングすれば、精度はそれなりっぽかった。
が、形態素解析のオーバーヘッドがでかすぎて実用にならんかった。
004241
NGNG○実用にたえん
他にも怪しいところあるが、見逃してくれ・・・
0043デフォルトの名無しさん
NGNG俺はそれで（・∀・）ｲｲ。
俺のは万年更新中になってるが
0044デフォルトの名無しさん
NGNG君なにか勘違いしてないかい？
0045デフォルトの名無しさん
NGNG名詞だけじゃなかったら、
何をインデックスにするんだ？
>誰かが検索エンジンのために、マシンのリソースを貸してくれて、
>それをP2Pでクラスタリングするということ？
違う
0046あぼーん
NGNG0047デフォルトの名無しさん
NGNG>違う
じゃぁなに？
0048デフォルトの名無しさん
NGNGその手には乗りませんよ:-)
0049デフォルトの名無しさん
NGNG00501
NGNG話し相手がいないだけです。
0051デフォルトの名無しさん
NGNG品詞って名詞だけじゃないだろ・・・。
名詞だけで文章の特徴が捉えられるとでも？
0052デフォルトの名無しさん
NGNGまず、どんなことがやりたいのか明確にしよう。
>>36の書いているように、クローラ、インデクサなんかも自分で作るのか、
>>41みたいに、基本的な部分は外部に任せちゃって、得られた結果を絞り込むのか？
0053デフォルトの名無しさん
NGNG>>41みたいに、基本的な部分は外部に任せちゃって、得られた結果を絞り込むのか？
こっちではないです。
作りたいものはサーチエンジン
すなわち
見たいホームページ→抽象化（キーワードを入力？）→具体的なホームページ
というプロセスをサポートする。
今あるサーチエンジンでは
見たいホームページを見つけてきているとは言いがたい（気がする）。
問題はどこにあるか？
矢印が２つあるので、そこに焦点を当てるのが基本だと思う。
すなわち、抽象化と検索。
実は抽象化と検索は表裏一体。
キーワード化以外の抽象化方法があれば、
その入力を加えた検索アルゴリズムが必要になるわけだ。
だから、抽象化と検索アルゴリズムを並行して考えていこうと思ってます。
005452
NGNGその場合、抽象化が一番の鍵だね。
抽象化の方法が決まれば、検索アルゴリズムも自ずと決まってきそう。
ヒットするのが見たいものだけでいいっていうなら、
文書をわりと低次元なベクトルに落としちゃうって言うのもありかもな。
ベクトル化する際に正規化しなければ、大きさでランキングもできるし。
・・・なんか昔NTCIRでそんな論文を読んだ気がしてきた。
005552
NGNGすまん、これじゃ普通の人にはわからんな。
解説すると、文書っていうのは単語の集合だから、
ある単語が1つの次元をあらわすとすると、
ある言語の語彙がN個だった場合、その言語で記述された文書は、
高々N次元のベクトルで表現できる。
で、このN次元っていうのを、特徴的な単語に絞って
低次元にしてあげれば～、っていう話し。
まぁ、その「特徴的な単語」の決定が難しいんだけど。
0056デフォルトの名無しさん
NGNG複雑で非効率的な抽象化より、リンク関係を基本とした単純なページランキングのほうが優秀だという事実を無視しないようにな。
運用時のパフォーマンスが、検索エンジンの重要なファクターだということをキモに命じておけよ。
0057デフォルトの名無しさん
NGNGいわんとしてる事はなんとなくわかるんだが、
実装となるとまた話は違うと思うわけで。
言語の語彙がN個でN次元ってさぁ、
日本語に10万個の語彙があれば、10万次元なわけでしょ？
それを低次元に射影するってのは、一体どれほどの計算量か考えてみれば、
実装なんて無理なんじゃないの？
>>53
抽象化ってのを具体的に説明しる。
俺の意見を言わせてもらうと、
今の検索エンジンって、結構もったいない事してると思う。
というのは、自分が検索ワードで「Visual C++ サンプルプログラム」という検索をしたとする。
またある人が、「Visual C++ ソース」で検索するとする。
その時に、前の似た検索をした人が、他にどんな検索ワードを使ったかを記憶しておけば、
それを用いて絞りこんだ結果を上のほうに持ってきて、
みたいな事ができるといいと思うんだけどな。
0058デフォルトの名無しさん
NGNGKakasi/Chasenフレンドリーってことになるのかもしれないけど
0059デフォルトの名無しさん
NGNG検索者の好みや履歴を利用した検索システムは、いろいろ提案されています。
しかし、プライバシーの侵害という問題が起きています。
また、どうやって検索者を追跡するのかという技術的な問題もあります。
くわしくはFITの論文などを見てください。
0060デフォルトの名無しさん
NGNGどこまでがプライバシーなのか定義が自分にはわからん。
後者については、技術的な問題は何もないでしょう。
というか、検索者を追跡する必要はないわけで。
ざっくばらんに言えば、そのページで検索された検索ワードを保存しておいて、
仮に保存したものを、「SearchMine」と言うならば、
ユーザーが検索するとき、最初にSearchMineを検索して、
その検索結果を使って、あらかじめ取得しておいたWebページを検索すればい
いと思うんだが。
0061デフォルトの名無しさん
NGNG>その時に、前の似た検索をした人が、他にどんな検索ワードを使ったかを記憶しておけば、
>それを用いて絞りこんだ結果を上のほうに持ってきて、
微妙に違う話かと思いますが、goo が検索結果からのクリックを評価に加えてるという話を聞いたことがあります。
0062デフォルトの名無しさん
NGNG006362
NGNG>>1
>あれ嫁これ嫁でもかまわない
Managing GigabytesとModern Information Retrievalを嫁
>>52
>まぁ、その「特徴的な単語」の決定が難しいんだけど。
Latent Semantic Indexing とかあるけどな。
その手のは再現率は上がっても適合率は上がらんという罠。
0064デフォルトの名無しさん
NGNG名前とか住所を検索したこと無い？
0065デフォルトの名無しさん
NGNG> 日本語に10万個の語彙があれば、10万次元なわけでしょ？
> それを低次元に射影するってのは、一体どれほどの計算量か考えてみれば、
> 実装なんて無理なんじゃないの？
計算量は置いといて、どんなふうに計算するの？
006662
NGNG元の行列は次元数は膨大だが極端にスパースだからSVDを高速化する手法はある。
006765
NGNG質問する資格、前提となる知識をもっていませんでした。
006862
NGNG最初は誰だって素人だからな。知識は今から仕入れればいい。
最近国産のサーチエンジンは軒並み元気ないから、
1みたいな奴は応援するぞ。ｶﾞﾝｶﾞﾚ!
00691
NGNGそんな事実はありません。
というか、抽象化という言葉の意味を取り違えています。
>運用時のパフォーマンスが、検索エンジンの重要なファクターだということをキモに命じておけよ。
検索結果のクオリティーのみが重要で、
検索時間は10秒までOKだと考える事にしてます。
>抽象化ってのを具体的に説明しる。
ユーザーが見たいホームページ（サーチエンジンに検索させたいホームページ）
をあるデータに変換して
サーチエンジンに渡します。
現行のサーチエンジンでは、見たいホームページのキーワードを入力します。
この、ユーザーが見たいホームページからあるデータへの変換を
抽象化と呼んでいます。
>>62
推薦ありかとうございます。
時間をみつけて読んでみます。
00701
NGNGまず小さなものから考えて行こうと思います。
例えば、２ｃｈのあるスレにある書き込みというのは
スレのタイトルで検索した結果、見つかった書き込みと捉える
事ができると思います。
では、その書き込みのクオリティーを測る方法はどんな物があるでしょうか？
今は、このような事を考えています。
0071デフォルトの名無しさん
NGNGあくまで2chを例えに使うなら
・類似書き込みの多さ
・信頼の置けるコテハンか
をクオリティーの目安にしてる。
後のは検索エンジンの場合は
googleのページランクに相当する考えを
持ってくればいいのかな
0072デフォルトの名無しさん
NGNG「クオリティ」 という時点で客観的な物差しだよね。
「ある特定の人」 が見たい情報ではなくて。
0073デフォルトの名無しさん
NGNGでも検索エンジンが不要ってわけじゃなくて、googleは
今まで使われた検索単語をデータベース化してあるから
そこから検索単語を使ってディレクトリを自動生成する
ってのが研究中だとか。
0074デフォルトの名無しさん
NGNG末永くROMさせていただきます。
ｶﾞﾝｶﾞﾚ
0075デフォルトの名無しさん
NGNG遅レスだが・・・。
・助詞、助動詞の使用は最低限にする。
・できるだけ漢字の名詞を使用する。
この二つだな。
ま、最近のChaSenは「横浜ビブレ」なんてのが
固有名詞として登録されてたりするから、
カタカナ使用してもそれほど問題にならんかも知れん。
# ChaSenの開発チームは大学卒業してもメンテさせられてるという噂・・・。
0076デフォルトの名無しさん
NGNG漏れの考えだと2種類＋1のアプローチがあるな。
ひとつは、スレタイと1に書き込まれたテンプレとの類似度を計算する方法。
>>71が書いてるように、コテハンつーのもありだと思うけど、
「信頼の置ける」ってのを判定するのがつらい。
もうひとつが、PageRankみたいに>>76のような、
他レスからの参照数をベースに計算する方法。
この方法だと、1がダントツでトップに来てしまうので、
その辺は工夫する必要がある。
AAや、「氏ね」、「クソスレたてんな」等の
お決まりの文句が付随してるのはカウントしないとかな。
で、最後におまけのひとつ。
ガイドライン版の「勝手に今日輝いていたレス大賞」から引っ張ってくる。
これ最強。
007776
NGNGつーのは、突っ込みどころ満載って感じになるな。
ネタとしてのクオリティは高いが。
0078デフォルトの名無しさん
NGNGまあコテハンの信頼性ってのは地道に統計取るしかないね。
ただ、たとえば2chブラウザのスレとかで言うと
コテハン（大抵作者）のレスというのは情報の有用性は
非常に大きいわけで、それをスコアに反映させない手は無いかと。
荒らしとかでない限り、ある一定数以上のレスをしているコテハンは
いいスコアつけるべきだと思う。
別途、荒らしフィルタとかバカコテフィルタを考えなきゃいけないけど。
0079デフォルトの名無しさん
NGNG00801
NGNGNGワード等を動的に生成する方法はないものかと
日々考えています。
>AAや、「氏ね」、「クソスレたてんな」等の
>お決まりの文句が付随してるのはカウントしないとかな。
これらは時間が経つにつれて、
流行り文句が替わるので手作業で修正しないといけません。
ここを自動化できるメリットは大きいですね。
>「ある特定の人」 が見たい情報ではなくて。
これはもう仕方のない問題です。
検索者の情報を事細かに入力するのであれば別ですが。
0081名無し＠沢村
NGNG＞俺はプログラマーだ。
＞プログラミングなら任せといてくれ。
＞でも、アルゴリズムがよくわからない。
プログラマー？
アルゴリズムがよくわからない？
？？？？？？？？？？？？？？？？？
いままでどうやってプログラミングしていたの？
0082デフォルトの名無しさん
NGNG0083デフォルトの名無しさん
NGNG00841
NGNGわかるのであれば教えてください。
0085デフォルトの名無しさん
NGNG0086デフォルトの名無しさん
NGNGこれは？
0087名無し＠沢村
NGNG＞俺がイメージしているサーチエンジンのアルゴリズムが
わかるのであれば教えてください。
わかるよ。
＞結果は厳選されているそんなサーチエンジンを作りたいと思う。
要するにヌヒがどんな基準で厳選しようと考えているかだ。
その基準で余計なサイトを振るい落とせばいいだけだよ。簡単な話しだよ。頑張れ！
0088デフォルトの名無しさん
NGNGある意味一番面白くて個性が発揮できる部分だね
0089デフォルトの名無しさん
NGNG0090デフォルトの名無しさん
NGNGそれは企画ではなくて 単 な る 願 望 で す。
00911
NGNGアルゴリズムという言葉の意味がわかってなかったみたいですね。
それじゃ
0092名無し＠沢村
NGNGバカコラクソおまえ、殺すぞ！！
いいかおまえは余計なサイトを振るい落とす基準の詳細について聞きたいのだろうが、
バカクソおまえがどんな基準を持っているかわからなければ振るい落とす詳細の設計の仕様がないだろが！！ボケ！！
要はおまえがどんな基準を持って余計なサイトを振るい落とそうとしているかが重要なんだよ！！マラボケ！！
0093デフォルトの名無しさん
NGNGヒットしたサイトをそこのアクセス数順にソートして表示できないの？
0094デフォルトの名無しさん
NGNG文章はﾜｹﾜｶﾗﾝが、大筋禿胴。
0095デフォルトの名無しさん
NGNG手に入りやすい本をちょろっと読んどいたら？
http://pumpkinnet.to/ranking/words/
【ぬるぽに投票した人】
http://pc.2ch.net/test/read.cgi/prog/1048837306/l50
0097名無し＠沢村
NGNGおまえ、おまえの余計なサイトを振るい落としたいという意味がわかったぞ！！
おいおまえ、おまえは例えば樋口可南子が喧嘩はどのくらい強いとか誰か他の女タレントと喧嘩したことあるかどうか調べたいとするだろ？
するとおまえは当然、「樋口可南子、喧嘩」というキーワードで調べるよな？
ところが樋口可南子という言葉と喧嘩という言葉は別の文脈で使われてたりして、樋口可南子と喧嘩が直接結びついて語られたサイトがなかなか見つからないわけだ。
樋口可南子と喧嘩という両方の言葉が出てくるサイトは膨大な数にのぼるからな…。
だが、おまえはせめてこのくらいのサイト↓は見付けたいのだろう？
http://216.239.57.100/search?q=cache:sKAMB4_Rn70C:sugai.dip.jp/word/type6/type4/type2/+%E6%A8%8B%E5%8F%A3%E5%8F%AF%E5%8D%97%E5%AD%90+%E5%96%A7%E5%98%A9&hl=ja&lr=lang_ja&ie=UTF-8
↑おまえのやりたいことがやっとわかったぜ♪おまえもなかなか変態だな♪むふふ…♪
0098デフォルトの名無しさん
NGNGとりあえずgoogleは200人のエンジニアで５年で現在の仕組を構築。
あの速度を維持するには500台以上のUnixマシンと冗長性の高いネット
ワーク構築が必須。またcascheについての工夫も当然。
なお、検索エンジンの仕組を考えるのであれば、
1. 効率のよいデータ収集と容量効率のよいDB構造の検討
2. １秒あたり1000万を超えるクエリを処理できる負荷分散の検討
3. 日本語を対象にするなら形態素分析に関する検討
が基礎にあって、
例えば１０億URLの情報が平均500Kでキーワードトークンが平均2K程度になる
と仮定して総indexの容量とそれをどうすれば高速で検索できるのか、hash関数
などをどう使えるのか、そんなことを考えてみてください。
キーワードのフィルタリング、例えば形態素辞書をより高度に活用することなど
は、上記基礎設計の後でじっくり考えてみましょうね。また商用という意味では、
それらを導入するコストパフォーマンスも含めて考える必要も当然あります。
「NGワード等を動的に生成する方法」これは比較的簡単なことで、上記基礎設計
技術とノウハウがあれば可能です。しかしやはり導入による全体のパフォーマン
ス低下がその効果に見合わないというのが実情ですね。
因みにgoogleのエンジニアは全て米国にいます。日本ではエンジンチューニング
の類はしませんから、彼等がここを見て書き込んでることはありません。
私は過去ですが商用検索エンジンの開発経験があるしがないエンジニアでした。
0100デフォルトの名無しさん
NGNGしょうがない。沢村だし。
0101デフォルトの名無しさん
NGNGギネスブック記録ですか？
0102デフォルトの名無しさん
NGNGもちろんその中には徹夜の日や休日返上もあるから1500人月くらいじゃねーの？
0103デフォルトの名無しさん
NGNGそのくらいのプロジェクトはいくらでもあるでしょう。
0104デフォルトの名無しさん
NGNG0105デフォルトの名無しさん
NGNGその商用検索エンジンって何の言語で作ってました？
クローラー、形態素解析、文書フィルタ、インデクサ、
クライアント部分等、それぞれで違うと思うのですが、
よろしければ教えていただけませんか？
あと、ＤＢは何を使ってました？
言語はほぼC++です。Webインターフェース部分は専用のPagebuilder。
DBは汎用ではなく専用のDBです。クローラーにはPythonやPerlなどの
script系言語も使われてます。形態素分析辞書はモジュール供給なので
中身はblack boxで辞書自体にユーザー辞書を乗せ新語（ビンラディンとか）
などに対応していました。
010799
NGNG素朴な質問だけど、「どうでもいいサイトまで引っかかってしまう」
とあるが、あるキーワードに対してどうでもいいサイトとはどう定義
しますか？もちろんそのキーワードを使うユーザーの最大公約数の答
えとしてです。仰る語感では「確かに仰る通り！」と思えるのですが、
それをロジックにすることは簡単ではありません。
例えば、「掲示板」というキーワードの場合、どういう検索結果が、
あなたの仰る「どうでもいいサイト」になりますか？
確かにスパムキーワードを施すようなサイトはクローラーがデータを
取得する際に存在するキーワードの傾向などから自動分類することも
可能でしょう。しかし、「自分が探しているサイトが上位にある」こ
とをあらゆるユーザー用途に対して最大公約数的に実現できることは
容易なことではありません。固有名詞に対して、その会社、団体、個
人サイトなどがトップに来るようなことはほぼ実現していますが、
実際「掲示板」のような抽象的なキーワードでの表示順位にみなさん
はどんな結果を求められていますか？他のキーワードでも構いません。
教えてください。私には結局在職中に答えを見つけることはできません
でした。
0108デフォルトの名無しさん
NGNGロンブーの温泉カミングアウト未放送 コイケエイコはみ出てます。。
010999
NGNGもうひとつ。
結局、「超高機能なサーチエンジン」に求められるスペックとは？
- DB保有量、対応言語
- 想定クエリ処理数
- 平均レスポンス時間
- クローリングスペック
- 当然全件一括更新なんかできないからどう部分更新できるか
- クローリングDB運用管理（クロール頻度やURLの追加削除など）
- スコアリングスペック
- クエリ処理自体のスペック
- 表示方法（どういうAPIを介するのか、結果をXML化し云々などなど）
- 表示順
- 検索方法（and or not その他link元とかそういうこと）
などなど検討ポイントは多いのですが、是非 1 がどういうポイントから、
高機能なものを作ろうとお考えなのか、お聞きしてみたいです。（マジで）
011099
NGNG私はgoogleの人間ではありませんから伝聞です。もちろん初めから総勢200人で
動いていたわけではありません。最初は数名からスタートしたと聞いています。
研究、実験段階までは多くても１０数名でしょう。商用化の目処がたつまでに、
２、３年、それから現在の商売モデルを既に作り上げ売り上げ見込みに基づいて
本格的にエンジニアを雇用していったわけです。
0111デフォルトの名無しさん
NGNG喧嘩ダメ! :(
0113デフォルトの名無しさん
NGNGstring url;
string data;
}
vector<Web> Search(string searchString){
vector<Web> ret;
for(int i=0;i<255;i++){
for(int j=0;j<255;j++){
for(int k=0;k<255;k++){
for(int l=0;l<255;l++){
string s=toIP(i,j,k,l);
int fh=_open(s.c_str(),_O_RDONLY);
char buf[100000000];
_read(fh,buf,100000000);
if(search(buf,searchString) > 0)
{
Web w;
w.url=s;
w.data=buf;
ret.push_back(buf);
}
}
}
}
return ret;
}
まぁ最先端の検索エンジンはこんなかんじかな。
0114デフォルトの名無しさん
NGNG最先端ならこうして欲しい気も…。
for(int i=0;i<65535;i++){
for(int j=0;j<65535;j++){
for(int k=0;k<65535;k++){
for(int l=0;l<65535;l++){
for(int m=0;i<65535;m++){
for(int n=0;j<65535;n++){
for(int o=0;k<65535;o++){
for(int p=0;l<65535;p++){
string s = toIPv6(i,j,k,l,m,n,o,p);
0115デフォルトの名無しさん
NGNG0116114
NGNGfor(int i=0;i<65535;i++){
for(int j=0;j<65535;j++){
for(int k=0;k<65535;k++){
for(int l=0;l<65535;l++){
for(int m=0;m<65535;m++){
for(int n=0;n<65535;n++){
for(int o=0;o<65535;o++){
for(int p=0;p<65535;p++){
string s = toIPv6(i,j,k,l,m,n,o,p);
0117デフォルトの名無しさん
NGNGこれで、「掲示板の作り方なんて知らないよ」サイトは必要ない
「掲示板 作り方」は掲示板の作り方を知りたい人が使う検索ワードである
よって、どうでもいいサイトは存在する
0118デフォルトの名無しさん
NGNG0120デフォルトの名無しさん
NGNG>私は過去ですが商用検索エンジンの開発経験があるしがないエンジニアでした。
今は何やってんだ？
0122デフォルトの名無しさん
NGNGこういう実務経験のあるひとの書き込みはすごくうれしい。
たまにでもいいので、なにか気づいた点があれば、アドバイスおながいします。
0123デフォルトの名無しさん
NGNGありが㌧
なんかもったいねーな。
01241
NGNGサーチエンジンとは
あるホームページXを抽象化したデータf(X)=Yを作り
Yに基づいて検索した結果をg(Y)=Zとすると
X=Zである事が望ましい。
しかし、実際にはX!=Zである。
そこで、ホームページの差異、すなわち距離dを定義する。
d(X,g(f(X))=d(X,Z)の値が低いgとfを作る事が
サーチエンジンを作る意味である。
ここで、fとgの作り方のほかに
距離dをどうやって決めるかという問題がある。
この距離dの取り方は、文字認識でも音声認識でも人間の感覚が
関わってくる問題すべてで問題となります。
例えば、ある入力された文字が「あ」という文字と「い」という文字の
どちらに近いか？
これは、普遍的事実というよりは、人間の感性に依存しています。
逆に距離dの決め方がわかってしまうと、問題は解決したも同然です。
従って、距離dの具体的な答えを問う質問は愚問です。
理解していただいたでしょうか？
では、文字認識等ではどのような解決策をとっているかというと
多くの手法がありますが
現在の流行は統計的推測であります。
すなわち、SVMやニューラルネット、音声認識ではHMMなどです。
従って、前例に習うとするならば距離dの問題は
は統計的推測を用いた解決を用いる事が一つの方法です。
しかしながら、その適用が難しいというのが現状だと思います。
01251
NGNG>技術とノウハウがあれば可能です
個人的には無理だと思っていますが。
できるなら、そのアルゴリズムの詳細を教えてください。
人間が手作業でキーワードを付け加えるなら簡単ですが。
パフォーマンスは確かに重要です。
googleのパフォーマンスには検索速度の他にも
大勢で使うためのパフォーマンスという意味が含まれています。
今回考えているのは、
1台の個人のPCで動き、検索時間は1分程度かかってもいいので、
クオリティーの高い結果を提供するという事です。
（あるいは、HTTPという形ではなく
見つかり次第結果を表示するようなアプリケーションでもいいと
思っています。）
従って、P2Pという形態は好ましいと思っています。
0126デフォルトの名無しさん
NGNG一切広告付けるなよ
完全無料のボランティアでやれよ
0127デフォルトの名無しさん
NGNG＞DBは汎用ではなく専用のDBです。
汎用のDBを使わずにわざわざ専用のDBを開発してまで使う理由とは？
0128デフォルトの名無しさん
NGNG検索エンジンで専用のDBつくるのはあたりまえだと思うのだが。
データ持ち方自体が検索エンジンの機能・性能と密接なんだから。
01291
NGNGはい、もちろん広告なんて載せません。
完全無料です。
でも、無能な人、貧乏な人、ケチな人は絶対使わないでね。
有能な人、お金持ちな人、ケチじゃない人は無料でじゃんじゃん使ってね。
ところで、なんで指図されてるんでしょうか？
誤爆?勘違い？ﾃﾞﾑﾊﾟ？
DBという言葉がでていますが、
ハードディスクのような大容量メディアをDBと呼んでいる人と
それらを利用しやすくするためのソフトウェアをDBと呼んでいる人が
いるような・・・
後者はDBMSと呼ぶのでしょうか？
専用のデータ構造を作った方がいいような気もするというのが
個人的な意見です。
そんなにファイルをたくさん使うわけでもなさそうなので。
0130デフォルトの名無しさん
NGNG広告は反対だが、漏れ的にはじゃんじゃんウラで稼いで欲しい。
じゃなきゃ、安定成長できんでそ。
最初は完全ボランティアだろうが。
0131デフォルトの名無しさん
NGNG1の書き込みを見る限りでは、Googleの検索結果に
「余計なサイト排除フィルタ」を被せれば、
目的を達成できるような気がします。
ひとまず「余計なサイト排除フィルタ」の開発に専念し、
それで目的を達成できたら御の字、不満なら独自DBの
開発に着手するという線は如何でしょう？
GoogleAPIを使えば労力を節約できると思うので、参考までに。
http://www.google.com/apis/
0132あぼーん
NGNG0133131
NGNG0134デフォルトの名無しさん
NGNG0135デフォルトの名無しさん
NGNGあなた達の為に
地獄からラッシュで
カムバックしてきたわョ！
イエス、
イエス、
イエッス
このНАМАУОНЕΙが
来たからには
ジャスト安心よ！
あなたの良く知る
НАМАУОНЕΙだよ！
ユゥノゥ？
・・・ああ 子供たち
私の最後の言葉をきいとくれ
クソ検索エンジンや
お前のフェイスは
ベリーベリーベリー
ファニーだね
フールだね
ダムンだね！
お前の天然のウザさを例えるに
戦闘帰りに上機嫌で鼻歌歌ってたら
ダークに紛れて鼻の穴にダイブしてくる蚊柱のよう！
お前なんて今すぐどうにかなっておしまい
世 田 羊 イヒ
介 大 の た め に
これが私の最後の言葉！
くれぐれもプロミスを守って・・・
0136デフォルトの名無しさん
NGNGgoogleの結果から絞り込むというのも一つの手段ですが
まったく新しいアルゴリズムを作ろうと考えています。
余計なサイト排除フィルタを作る事も
目標達成の通り道になるとは思いますから、挑戦しようとしています。
そこで、現在２ｃｈのカキコに対して
その重要度を計算するアルゴリズムについて
考えている最中というわけです。
重要度を計算するには
書き込みの文章自体から計算する方法と
それ以外の情報も加えて計算する方法があります。
それ以外の情報とは、
誰もが思いつくのは
コテハンや>>での参照回数ですね。
013799
NGNG＞できるなら、そのアルゴリズムの詳細を
辞めても守秘義務があるので一般論以外は無理です。
>>127
＞汎用のDBを使わずにわざわざ専用のDBを開発してまで使う理由
簡単です。速度と容量のパフォーマンスのためです。
>>1
＞しかしながら、その適用が難しいというのが現状
仰る通りですね。書かれていた手法は様々なアプローチで試みましたが
商用エンジンの価値は「評判」で決まるため、感性に訴求させることは
誰しもが唸る？ような新理論を上手に広め、種々の問題は未解決ながら
もこのエンジンはいいと認知させていくことが肝要ですからね。
もう当事者ではないですが、知り得る範囲でご協力致しますが、技術情
報詳細の開示（例えばデータ構造など今だ頭にはいっているものも含め）
はご容赦くださいね。
それではまた。
0138デフォルトの名無しさん
NGNG0139デフォルトの名無しさん
NGNG全く新しいものを作るなら、
新たな作成物が既存のものでないかどうか調べる必要がありますよ。
少なくとも、google一発で見つかっちゃうようなのは言語道断。
0140デフォルトの名無しさん
NGNG仕事でやるなら再開発は嫌うべきだが。
0141デフォルトの名無しさん
NGNGsage
Googleに正規表現検索が付けばそれで事足りる気がするけど．．．
0142デフォルトの名無しさん
NGNG0143デフォルトの名無しさん
NGNG>>1を含めて、正規表現なんて知ってるユーザーは少ないので、実装されない。
で、and検索だけの糞い結果しか得られない。
正規表現対応の検索エンジンは、ユーザー数が少ないので、広告も少なく、
性能が低く、データ量も少ないので、正規表現の威力が出ない。
広告などのゴミデータが散乱する。
下手に資本主義化したネットの末路。
本来の性能を完全にスポイルしている。
0144デフォルトの名無しさん
NGNG0145デフォルトの名無しさん
NGNG賢くならないユーザーの方が多いんだよ。
それにね。
いい？いまから大事なこと言うよ。
賢 い ユ ー ザ ー は 金 に な ら な い
0146デフォルトの名無しさん
NGNG0147↓こういう文、最近見ないな。
NGNG0148デフォルトの名無しさん
NGNGなんか>>1の言動が厨臭くてかなわん。
0149デフォルトの名無しさん
NGNG01501
NGNGユーザーの問題じゃなくてパフォーマンスがでないから。
それに正規表現で問い合わせできても、たいして変わらないような。
それはそうと、パターンマッチングはそれ程重要じゃないんだな。
>商用エンジンの価値は「評判」で決まるため、感性に訴求させることは
まあ、「評判」という言葉の意味の乱用だね。
評判は性能で決まる事もあれば・・・
というわけです。
それに商用を目指しているわけではないので、
ひたすら自分の要求に合った、クオリティーの高い検索結果を
出す物を目指します。
>もう当事者ではないですが、知り得る範囲でご協力致しますが、技術情
なんか協力できそうなんですか？
技術的な話は聞いても、守秘義務があるから一つもできないようなので
文献の話でもしましょうか？
これから少しずつ読もうと考えています。
>全く新しいものを作るなら、
>新たな作成物が既存のものでないかどうか調べる必要がありますよ。
考え方の問題です。
既存の物にとらわれないという意味です。
なぜに、調べる必要性が出てくるのでしょうか？
妄想はやめましょう。
>少なくとも、google一発で見つかっちゃうようなのは言語道断。
意味わかりませんが。
新しいホームページを探す技術ではありませんよｗ
ところで、あるテキストからキーワードを抜き出す技術に興味のある人はいますか？
0151デフォルトの名無しさん
NGNGそれとも tf/idf みたいな重み付けも含めて？
0152デフォルトの名無しさん
NGNG0153デフォルトの名無しさん
NGNGデータを保管し、そこから必要なデータを素早く取り出さなければいけない
と思うんだけど、それを独自に開発したＤＢで対応できるものなの？
煽りじゃなく純粋に知りたい。
0154デフォルトの名無しさん
NGNG0155デフォルトの名無しさん
NGNGだからこそ独自に開発したDBがいるんじゃない。
独自に開発しなかったら、何つかうっちうねん。
0156153
NGNGデータを扱うエキスパートである各RDBMSに
独自に開発したDBがスピード、安定度、耐久性、堅牢性において
勝てるものなのかっていうことを言いたいんだが。
>>154
Googkeはそれをやってるんだっけ。
なるほど。
0158デフォルトの名無しさん
NGNG0159155
NGNGリレーショナルモデルを前提にした検索エンジン作らない限りは
結局RDBMSの上にDBMSを構築するはめになる。
それでスピード・安定度・耐久性・堅牢性有利になるかといえば、疑問。
もしかしてRDBMSが万能とおもってない？
0160155
NGNGここはJava厨C#厨も出現しづらいし。
0161デフォルトの名無しさん
NGNGLuceneって実際のとこどうよ？
と、あえて召喚してみるテスト
0162デフォルトの名無しさん
NGNG0163デフォルトの名無しさん
NGNGキーワード抽出だと、NTCIRのNEタスクの論文なんかが参考になるかも。
学者のたわごとが多いので、あくまで参考程度に。
実は学生時代にこの辺の研究してた。
日本語だと以下が基本的な(？)アプローチ。
まず、形態素解析してtf/idf。
さらに重み付けのために、前後(特に後ろ)の文を見て、指示代名詞の有無を調べる。
きちんと章･段落がある文書は、その情報も使う。
最初/最後の文章は重要な語が出てくることが多いから。
Webに特化していいのであれば、HTMLタグなんかもキーワード抽出に使える。
<title>、<a>、<h?>、<th>、<b>、<em> など。
016499
NGNG＞なんか協力できそうなんですか？
不必要に好戦的なのですね。そういう意味ではあまりご協力できそうも
ないのに余計なことを申し上げましたね。撤回致します。見守らせて下さい。
＞ まあ、「評判」という言葉の意味の乱用だね。
＞ 評判は性能で決まる事もあれば
検索対象URL数、機能性、更新頻度、反映スピード、検索スピードなど性能
で客観的に測れる指標もありますが、それら以上に「この検索結果は良い」
というスコアリング結果に対する体感が評判だと申し上げているわけです。
もちろん、商用を担当していた以上数々のマーケデータを知っている上で
申し上げているので、それが可笑しいと思われるなら仕方ないのでこの点
では反論致しません。
>>153
はい、汎用のRDBMSではスピード、容量面で全然実用的になりません。もっとも
データ構造は私が手掛けていた範囲ですから、それが絶対的ではもちろんありま
せんが、極端な話しRDBMSに一旦入れてある商品DBなどを検索させる場合でも、
そこからわざわざサーチエンジンの専用indexを作って検索させておりました。
それだけスピードには差が出てしまいます。
016599
NGNG引用省略しますが、はい、まさにそういう処理をしておりました。難しいのは
実際TAGによる重みづけを行う場合のバランスでした。title中のキーワードに
どれだけの重みをつけるべきか。他にも種々のパラメータが存在するので、実
際の重みづけ（スコアリング）結果を出すにはどうしてもサンプルデータでは
無理が多く、テスト用にデータを本番と同等分持たないと有効なテスト結果を
得られないこともコストにヒットしました。正直あれだけの設備を二重に持つ
ことはなかなか厳しいです。しかし、本番サービスを止めずに様々な改良実験
を行うためにはどうしても必要になります。１億URLを対象とするエンジンなら
１億の中でのテストでないと意味がないわけです。tfという香具師がまたやっ
かいな値なのです。
0166デフォルトの名無しさん
NGNG中身があるかないかです。
そして、できるかできないかです。
>スコアリング結果に対する体感が評判
評価という意味をそういうふうに限定しないと意味は通じないと
書き込んだつもりですが。
まだまだ日本語力が足りないようです。
勉強してきます。
形態素解析をして、tf/idf等を用いたスコアリング
これをもう一度抽象化すれば
あるテキストの構造を解析して、それらの意味を判定
そのデータを用いてスコアづけ
という事ですね。
テキストの構造を解析する方法は形態素解析がベストなんでしょうか？
個人的には形態素解析は使いたくないのですが。
なぜなら、WEB上のテキストには充分に性能を発揮しないと思うからです。
0167163
NGNG>テキストの構造を解析する方法は形態素解析がベストなんでしょうか？
個人的な見解だとYes。品詞情報を使えるのも大きいと思う。
N-gramを用いる方法もあるけど、検索結果にノイズが混じりすぎる。
もう一つ、漏れが学生時代に試したので、
「文字種のつながりで単語を認識する」ってのがある。
アルファベット、漢字、カタカナが連続して出てくるものは同一単語としてみなすだけ。
「キーワード抽出だと、NTCIRのNEタスクの論文なんかが参考になるかも。」
を例に挙げると、"キーワード"、"抽出"、"NTCIR"、等が該当する。
2chのログには有効かもしれん。(藁
0168デフォルトの名無しさん
NGNGむしろだめだ。
ｲ㌔
とか平気で出てくる。
0169デフォルトの名無しさん
NGNG検索結果の最大公約数をとると
知りたいことが網羅されたページが出てきそう。
0171デフォルトの名無しさん
NGNG> ｲ㌔
> とか
まぁ、そんなのは無視しちゃえばいいわけで。
ここなんか検索できたら尊敬する。
http://aa.2ch.net/test/read.cgi/kao/1040047590/
0172デフォルトの名無しさん
NGNG『他の人はこのような単語も検索しています。』
っていうのが有るとたまにうれしい。
【データベース 設計】で検索した時に【正規化】もよく使われています。
↑こんな感じで。
0173デフォルトの名無しさん
NGNGロボットで拾ってきたデータをカテゴリ分けするってのはどう？
カテゴリ分けはできれば半自動（自動＋手動）になるかな。
0174デフォルトの名無しさん
NGNG既にあります。
0175デフォルトの名無しさん
NGNG＞っていうのが有るとたまにうれしい。
0176デフォルトの名無しさん
NGNGLycos が昔やってたけど、
必ずしも他の人にとっても意義のあるキーワードとは限らない
という結果に。
017799
NGNGキーワードチャンクですね。ありましたね。これはAND候補ですが、
同義語をORの一括検索なんて如何でしょう？あまり意味ないかな？
例えばですが、 アメリカ なら米国やUSAやamericaものいずれか
でも良しとするのような。これは同義語シソーラスがあればあまり
面倒なアルゴリズムは不要で実現可能ですが。
0178デフォルトの名無しさん
NGNG"Query Expansion" でぐぐってみ。
0179デフォルトの名無しさん
NGNG>同義語をORの一括検索なんて如何でしょう？
??
infoseekさん、これ以前からやってたでしょ?
0180デフォルトの名無しさん
NGNG0181デフォルトの名無しさん
NGNG0183デフォルトの名無しさん
NGNGよっぽど精神レベルが低いんだろうな（ﾌﾟﾌﾟ
0184デフォルトの名無しさん
NGNG文系MS厨(無職)さん、ようこそ。
0185デフォルトの名無しさん
NGNG0186デフォルトの名無しさん
NGNG0188デフォルトの名無しさん
NGNG一週間もすればあぁいうバカは少なくなるから、そのころにまた。
0189デフォルトの名無しさん
NGNG0190デフォルトの名無しさん
NGNG0192デフォルトの名無しさん
NGNGそれで元がとれるものなのかな？
0194デフォルトの名無しさん
NGNG俺もなー
0195デフォルトの名無しさん
NGNG作りたいんだけど？
じゃあ、作れば？
0196デフォルトの名無しさん
NGNG0197デフォルトの名無しさん
NGNGいや、良スレの卵です。
食べごろなので厨が集まりましたが、生まれてしまえば大丈夫です。
そっと見守って下さい。
今、俺、酔ってます。
0198名無し＠沢村
NGNGつーか「肉を抉る 尻」というキーワードで検索した場合おまいらの知りたいことというのは何だ？
おまいらよ、おれは「肉を抉る 尻」というキーワードで検索してみたが、ずいぶんどうでもいいサイトばかりが出てきてついに知りたいサイトは見つからなかったよ。
つーか見つけるのに挫折したよ。
おまいらよ、「肉を抉る 尻」というキーワードで検索した場合おまいらの知りたいことというのは何だ？
0199デフォルトの名無しさん
NGNG0200名無し＠沢村
NGNGだが「女の尻の肉を抉る」という文に一致する文がそのまま出ているサイトが存在する可能性は少ないから、とりあえず「肉を抉る 尻」で検索して「女の尻の肉を抉る」に期待をふくらませるのよ♪
おまいらよ、ここで問題になってくるのがまず「尻」の主体が人間かどうかだよ。
おれが検索した場合も「尻」の主体が人間ではなく製品の「尻」の部分だったサイトがたくさん出てきたからな。
おまいらよ、まず「尻」の主体が人間かどうかをフィルターにかけて調べることだよ。
つぎに「尻」の主体が人間のうちの若い女かどうかを調べることだよ。
おまいらよ、「尻」の主体が若い女とわかっただけでも、そのサイトが女の尻の肉を抉ることについて語っている可能性がずいぶん高くなるぞ！！
つぎはワンセンテンスを調べることだな。
ワンセンテンスのうちに「尻」という言葉と「肉」という言葉が入っていたら、おまいらよそのサイトはもはや８０％の確率で「女の尻の肉を抉る」ことについて語っていると考えても過言ではないと思うよ。
おまいらよ、このように単語同士をむすびつけて興味を割り出すエンジンつーかデータベースがまず必要で、
その興味に応じて細かくフィルターを通すエンジンが必要になるということだよ。
わかるか？
0201デフォルトの名無しさん
NGNGそこで検索語句から「女」が外れるところを見ると、あなたは検索初心者ですね？
0202デフォルトの名無しさん
NGNG0203デフォルトの名無しさん
NGNG￣フ | ＿|＿ ─-┼- ~T~ ─┼─
￣| ／| /＿ ／ / | ＼ 口コ ┌─┴─┐
|／ ｜ ／丶 / | ` 人 ∠ム
ー-─ ／| ＼ノ ( | ／ ＼ ホ
￣￣￣
──┐ ─┼─ ＿＿＿ ├─ ── | ＿＿
／ヽヽ ─┼─ ／ | ──､ | フ
（ ＼ ／￣￣) | |. |
￣ ＼＿＿ ○＿／ ○ヽ ／ し ￣￣￣
｜ ──┐ ／ ─┼─ ヽヽ _| | ｜
｜ ／ ／ | ＿＿ ￣ |￣ | |
＼＿／ （ ＼ | (￣ V
￣ ＼ | ￣￣ ￣￣
0204デフォルトの名無しさん
NGNG0205デフォルトの名無しさん
NGNG0206あぼーん
NGNG0207デフォルトの名無しさん
NGNGこれはなんの宣伝？
0208デフォルトの名無しさん
NGNGメス豚 尻 挿入
これで検索した後、それらのサイトのリンク集を使う
0209デフォルトの名無しさん
NGNGオントロジー使って似た概念や連想される概念も拾えるようにするとか。
0210デフォルトの名無しさん
NGNG0211デフォルトの名無しさん
NGNG社内文書や図書館ならともかく、WWWでそういう「あいまい」検索すると、
際限なくゴミを拾う事になる。
やはり自分で考えたテキストマッチが一番。
検索語を己で考えられないような人は、検索エンジンを使わなくてよし。
0212デフォルトの名無しさん
NGNG日記と2chばっかりひろいそうな予感
0213デフォルトの名無しさん
NGNG0214デフォルトの名無しさん
NGNGhttp://pc2.2ch.net/test/read.cgi/tech/1039316509/
セマンティックウェブについて語るスレ
http://pc2.2ch.net/test/read.cgi/tech/1035299493/
エンタープライズ・オブジェクト・オントロジー
0215デフォルトの名無しさん
NGNGP2Pとwebの乖離か...
0216デフォルトの名無しさん
NGNGどんなタグがあれば、どんな事ができるか？
という段階でしょ。
タグは人間がつける事になっている時点で糞
0217デフォルトの名無しさん
NGNGこれ最強
0218デフォルトの名無しさん
NGNG02191
NGNG専門知識を持ってる人はどうもいないようで。
0220デフォルトの名無しさん
NGNG「魚は焼くとおいしい食べ方ができる」 なんて大雑把なものでは何とも言えない。
ブレインストーミングするにも、アイデアは全然出てないし。
022199
NGNG02221
NGNGSVMとテキスト処理に関して、誰か話しますか？
0223デフォルトの名無しさん
NGNG検索結果のリンクをクリックしたあと、セッションが破棄されるまで戻ってこなかったら、検索がそのリンクによって成功したと判断し、検索クエリとページのカテゴリの距離を学習させる。
（URLではすぐ無駄になるため。）
0224デフォルトの名無しさん
NGNG（安易だが強力では？）
[v]ニュース
[ ]ポルノ
このカテゴリ名の抽出も自動でやれればベストかな。
0225デフォルトの名無しさん
NGNG【ブックマーク登録画面】
検索クエリ[ページランク 謎]
内容についてのメモ[ページランク機能についての調査結果]
利用者に同意を得てこの情報を利用し、検索結果の脇に表示する。
一定期間経過後は、検索結果にあわせて誰でも内容の変更が可能。
名付けて「好意の道しるべ」
0226勹"ﾉヽﾉヽﾉヽﾉヽﾉヽ
NGNG02271
NGNGそれは難しいんですよね。
クリックする基準って、タイトルですよね・・・
0228age
NGNGhttp://www.maromaro.com/
http://www.tomita.net/
本を読もう
0229あぼーん
NGNG0230あぼーん
NGNG0231デフォルトの名無しさん
NGNGhttp://icrouton.as.wakwak.ne.jp/pub/kks/cnamazu.html
0232デフォルトの名無しさん
NGNG02331
NGNGテキストをどう前処理して
SVMやらNNの入力にするかって話でもしたかったんだけどね。
２ｃｈのレベルじゃ無理みたいだね。
いやー、残念。
0234デフォルトの名無しさん
NGNG02351
NGNG馬鹿が必死だねｗ
0236デフォルトの名無しさん
NGNG0237デフォルトの名無しさん
NGNG0238デフォルトの名無しさん
NGNG頼まれてもお断わりだ。
馬 鹿 が 染 つ る か ら な 。
0239デフォルトの名無しさん
NGNG0240デフォルトの名無しさん
NGNG0241デフォルトの名無しさん
NGNG余計なサイトの具体例がイマイチイメージ沸かない。
検索結果に不満がある人がそもそも、そんなにいないんじゃないかな？
議論がループするけど、抽象化ってのは、
予め、内容ごとにページをマッピングして行くってこと？
0242デフォルトの名無しさん
NGNGどうせ検索エンジンの技術解説ページどころか、検索方法についてのヘルプも読んだためしがないんだろう。
それでクエリがクソなせいでまともなページがヒットしないのをエンジン側に責任転嫁。
冷静を装ってスレ建てするも、次第に剥がれる化けの皮。
しかも実装方法も問題点も皆目わからないので、大学で識った技術の略称を連呼して煽るだけ。
マジ使えねえなこいつ。
0243デフォルトの名無しさん
NGNGで検索すると
COM" は一般すぎる言葉のため、 検索には使用されていません
とかでるけど。
これどうにかならないかな？
0244デフォルトの名無しさん
NGNG02451
NGNG世の中バカグラマーが多いんだね。
0246sage
NGNG0247デフォルトの名無しさん
NGNG0249デフォルトの名無しさん
NGNGうんざりです。
0250デフォルトの名無しさん
NGNG0251これぐらい自分で調べろ
NGNG0252デフォルトの名無しさん
NGNG検索エンジンなんて作っても、遅くて誰も使わないだろうな。
0253デフォルトの名無しさん
NGNGおそらっく完成もしないし
誰も使わない罠
市ね
0254デフォルトの名無しさん
NGNG検索エンジンってどうかなあ
同じ時期に同じユーザーによって連続して検索された
言葉は相関の高い可能性が高いということで
0255デフォルトの名無しさん
NGNG集中的にアクセス（ネット上に分散した端末総動員）してヒット率を
ゆがめる。後は下位のサイトのサーバーをアタックしてアクセス率を
下げる。これで完璧。
0256デフォルトの名無しさん
NGNG特許出願しますた。
0257デフォルトの名無しさん
NGNG>まあサポートベクターマシンとかニューラルネットとか利用した
>検索エンジンなんて作っても、遅くて誰も使わないだろうな。
すごいバカがいる・・・
こんなバカがいるとは・・・
0258デフォルトの名無しさん
NGNG2chに書かれた時点で公知の事実では とマジレスしてみるテスト
0259デフォルトの名無しさん
NGNGRDBMSがダメとなるとどのような形式のDBになる？
0260デフォルトの名無しさん
NGNG0261デフォルトの名無しさん
NGNGgoogleは10000台以上のPCを使ってるって話だけど、1日に何台故障してんだろ？
0262デフォルトの名無しさん
NGNG感性について人間に遥かに及ばないＰＣにそれが可能と思うか？
プログラマならそのくらいわかるだろ？
0263通りすがり
NGNG一台くらい壊れても兵器
0264デフォルトの名無しさん
NGNGクラスタだなんてツネシキ
0265デフォルトの名無しさん
NGNG0266デフォルトの名無しさん
NGNGそれだけの大規模な運用の実例が知りたいってだけでしょう。
0267デフォルトの名無しさん
NGNG0268デフォルトの名無しさん
NGNG質問の意図がわからないけど、
RDBを自分でプログラム書いて作る事はできるよね？
mySQLなどの汎用RDBというのは
インターフェースとしてSQLという形式のフォーマットで
データを出し入れするわけだ。
でも、自分で作るならSQLにこだわらなくてもいい。
データ構造も自分の好きなように作れる＝好きな型を作れる。
こうする事のメリットは
ちょっと速くなることと、
DBを作る苦労をすれば、DBを操作するオペレーションが
わかりやすい物になる事。
0269デフォルトの名無しさん
NGNG個人の主観の平均値でいいんじゃ？
0270デフォルトの名無しさん
NGNG実際のどのシステムで使われているかどうかは知らんが、
その手の論文に言わせると、使われているものはよくあるらしい。
0271デフォルトの名無しさん
NGNGこのまえ専門用語で検索してもヒットしなかったんで、略語で検索してみたらイパーイヒットしたよ。
0272デフォルトの名無しさん
NGNG協調フィルタリングなど、その辺をくみ上げようという考えもあるけどね。
0273言語処理屋
NGNG汎用エンジンだと類義語って判定が難しいんだよね・・・。
専門分野によって同じ単語でも意味違ってくるし。
分野ごとにシソーラスを用意して、インデキシングのときに
文書をクラスタリングすればいけそうだけど。
0274デフォルトの名無しさん
NGNGなるほど。
このスレの話の流れからRDBMS自体が検索エンジンのDBには
向かないのかなぁと思ってました。
0275デフォルトの名無しさん
NGNG正規化の考えを取り入れることはあっても、そのものを使うことはあまりないかなぁ。
最近はデータベース界も新しいアルゴリズムの発表とかあって、
それらを実装して実験しなくちゃいけないのだけど、時間が足りないもそ
。
0276デフォルトの名無しさん
NGNGRDBを使っているケースのほとんどが
データ検索をRDBに任せているけれど
サーチエンジンの場合は
データ検索アルゴリズムを考える事が肝であり
そこを工夫しないと、とんでもない事が起こる。
0277デフォルトの名無しさん
NGNGnamazuのクラスタなんとか検索とかランキング検索パッチとか実験で作ってる人いたじゃん。あんな感じで
0278デフォルトの名無しさん
NGNGどんなとんでもない事が起こるのでしょうか?
0279デフォルトの名無しさん
NGNGGoogle はページ内での各キーワードの位置も重視します。
Google の結果は、ユーザーが指定したすべてのキーワードを含むだけではなく、
そのページ内でそれらのキーワード間の近接度も分析します。
他の多くのサーチエンジンとは異なり、
Google ではキーワードの近接度に従って検索結果の順位付けを行います。
キーワードが近くに一緒にまとまっている検索結果ほど優先されるので、
関係のない結果を排除する手間を省くことができます。
0280デフォルトの名無しさん
NGNGRDBMSで十分っすよ。
0281デフォルトの名無しさん
NGNG昔のlycos とかだと スーパーサーチで明示的に指定できたと思う。
つか、その頃の感覚では、そういったオプションは珍しくなく感じてたので、
他の検索サイトも似たようなオプションがあったかも。
# この辺の感覚は昔に戻ってほしい…
ま、今は明示されてない＆他の評価方法も強い、ってな感じで目立たないだけと思うけど。
0282デフォルトの名無しさん
NGNG>RDBMSで十分っすよ。
１ページの平均走査時間を100msecとしよう。
googleには
3,083,324,652
だけページの数がある。
従って
3,083,324,65200msec
3,083,324,65sec
5138874min
85647h
3568day
10year
従って、indexを作るのに10年かかる
Indexingももちろんですが、問題はクエリ処理の方が大きいです。
日本語をバラしてtoken作ると10億通り以上になるんです。これに
URLが紐付いてるわけです。URLはもちろん文字列で持ってたら破綻
するのでhashします。tokenもね。これを0.1秒とかで同時に検索要求
を受けて処理するには・・・おわかり頂けますよね？
私は某大手携帯サイト向けにDBとネットワーク設計の提案（受注できま
せんでしたけどね。）に携わったのでその負荷計算しましたが、商用
のWeb検索ではRDBMSでは非現実的です。
0284デフォルトの名無しさん
NGNG使えるパッケージはnamazuくらいしかないの？
0285デフォルトの名無しさん
NGNGnamazuは全文検索ができるだけ
0286デフォルトの名無しさん
NGNGじゃあやっぱりRDBMSってダメなんか。
0287デフォルトの名無しさん
NGNG0288283
NGNG目的如何ではダメだということです。
というか、DB構造自分であれこれ試行錯誤しながらコアな検索部分の
ロジックを考えるのが醍醐味なので何故RDBMSに固執するのかが私には
あまりよく理解できませんので一概に否定するつもりはありませんけど。
ところで、ここは、「超高機能なサーチエンジン」を作るスレですよね？
原点に帰り「超高機能な仕様」を決めませんか？シソーラスっぽいギミック
的な部分より、まずコアな仕様として、
1. Web情報収集（クローリング）
2. Indexing , Scoring
3. 表示
に分けて議論しませんか？前提として１億URL程度を対象とする。１秒間に
100クエリ程度。この条件では如何でしょう？某携帯の場合の想定は1000ク
エリでしたが。
0289デフォルトの名無しさん
NGNG0290283
NGNG1. Web情報収集では
ページ毎の更新頻度はマチマチですよね？また明らかにニュースサイトの
ようにPRが高い上に更新頻度が超高いURLを別DB化し他のURLとは別に高速
巡回しindexing & mergeする際、それをどういうロジックによって認識さ
せるのが吉なのかとか、どう思います？httpgetで返してくる更新日って
webサーバーによって違うので正確じゃないし、かといってファイル自体の
dateを拾うとすれば負荷がかかる。またニュースサイトであるという認識も
完全自動は難しく人手が必要ですが、何とかロジック化できれば、何段階か
の巡回頻度別にDBをわけることでより効率よく最新のWeb情報を反映できるの
ではないかと思います。
0291デフォルトの名無しさん
NGNG偽られるのが嫌なら、トリップ付けて出て来いよ。
0292デフォルトの名無しさん
NGNGSUFARYのページ死んでない？
Saryにやられてしまいましたか。
0293デフォルトの名無しさん
NGNGhttp://www-imai.is.s.u-tokyo.ac.jp/~sada/iss/
どうよ？
02941
NGNGサーチエンジンを作ろうといった時
おおまかに２つの方向性が考えられるわけだ。
１つは
１つの具体的な目標を設け、既存の技術を使って、それを実装する。
もう１つは
１つの抽象的な目標を設け、新しい技術を開発し、それを実装する。
俺は後者をやりたかったわけ。
１に書いてる事はもちろん謙遜で言ってる。
>>283
が言ってるのは前者だよね。
それほど興味が無いというのが本音。
0297280
NGNGはぁ。。僕、厨房なのでまだ何が大変なのか良く分からないっす。
１台で全部やったら大変でしょーけど、ぐぐるみたくクラスタ使って
パーティショニングすれば１台あたりのページ数はずっと小さくできますよね？
並列に処理すればindex時間は短縮できるし、
1台で扱うtokenの数もずっと小さくなるんじゃ？
それはRDB使うか専用DB使うかとは独立に作り込む部分だと思うっす。
0298デフォルトの名無しさん
NGNGいや、目標はいつだって具体的じゃなきゃだめだろ。
ブレインストーミングがしたいだけならいいが。
0299デフォルトの名無しさん
NGNG気持は分かるぞ。今更googleと同レベルのもの作ったってしょーがねーしな。
0300300
NGNGこんな感じか？
ttp://www.ntt.co.jp/news/news02/0212/021203.html
0301デフォルトの名無しさん
NGNGgoogle が全部でどれだけのコンピュータを使っていると思う？
0302280
NGNG仮に1万台に分散して良いなら1台当たり30万ページ載せれば
30億ページindexできちゃいますよね。
30万ページならMySQLでも十分イケそうに思います。
秒間100クエリぐらい楽ショーじゃないすか？
SCoreとか使って1万台ぐらいのクラスタ組めるんでしょーか？
0303デフォルトの名無しさん
NGNG0304デフォルトの名無しさん
NGNG03051
NGNG具体的な目標は、発想の幅を狭める。
言い方を変えれば、
計画通りに技術を開発する事は不可能。
偶然できた技術を柔軟に使いこなす事が大切。
>>302
前文検索するシステムを作りたいのか？
それともサーチエンジンを作りたいのか？
どちらにせよ、相当慎重に作らないとね。
例えば、「あ」というものにマッチする文書を検索したら落ちるよ。
１万台で秒間１００クエリで
１台あたりの平均データ通信量を1kとした時
マスターになってるマシンは、一秒間で1Gのデータを処理するわけだ。
0306デフォルトの名無しさん
NGNGすることも考えてね。namazuのワード単位検索は辞書命だし。これだけみんなが
しのぎを削ってるのだから、一筋縄ではいかんと思ったほうがいいよ。
0307デフォルトの名無しさん
NGNG支離滅裂ですな。
0308デフォルトの名無しさん
NGNG何か完成させた事ある？
いつも妄想だけで終わってない？
0309280
NGNG> 支離滅裂ですな。
そうなんですか？
僕はさすが1さん、と思いましたが。。
0310デフォルトの名無しさん
NGNGgoogle並みの検索サイト作るには、
１万台規模のクラスタリングマシンが必要になる。
もうこの時点で、このプロジェクトは破綻してるわけだ。
しかし実装うんぬんは別として、現状の技術（例えばNamazu）について
このスレで知識を深めて、
Indexingするときに一工夫いれた電気Namazuとか作れないだろうか？
0311283
NGNG私は単純に、「超高機能な」をもう少しdiscussionして頂きたいですね。
特にあなたの意見をもっと色々お聞きしてみたいですね。
みなさんへ
「１つの抽象的な目標を設け、新しい技術を開発」これ前に進めませんか？
抽象的な目標が超高機能だけでは少し広すぎて散漫になり過ぎませんか？
それとももう少し好き勝手に語り合った上で意味のありそうなトピックを
抽出して適応できる技術を掘り下げてみるとか？
>>280
ということで、このスレは既存技術について語るスレではないので、もし
何故？を掘り下げたい場合は別の場があればそちらに詳しくレスします。
0312デフォルトの名無しさん
NGNG0314デフォルトの名無しさん
NGNG＞１万台規模のクラスタリングマシンが必要になる。
従来の方法では確かにそうだが、
画期的な新しい方法でその常識がくつがえされるかもしれないだろ。
0315デフォルトの名無しさん
NGNGアホですか？あなたは。
アメリカを始めとする世界中の企業やら大学の頭のいいやつが、
毎日毎日、頭を使って検索の事ばっかり考えてるんだぞ。
今この時間にも、検索エンジンのエキスパートが、
頭をフル回転させて新しい技術は無いか知恵をしぼってるんだよ。
ここで理想論をチマチマ話して、そんな画期的な事ができるわけねーだろ。
１万台規模のクラスタリングを素人さんが、ちょこちょこっと考えて大幅に減らせるわけねーだろ。
世の中なめるのもたいがいにしろ。
0317280
NGNGこれ見てください。
ttp://www-db.stanford.edu/pub/voy/museum/pictures/display/GoogleBG.jpg
当時大学生だったBrinとPageがGoogleを開発してたマシンです。
最初から1万台は無理だけど、理想と閃きさえあれば大した設備がなくても
ブレイクスルーできるんじゃないですか？
0318あぼーん
NGNG0319デフォルトの名無しさん
NGNGどちらにしろ、いきなり全世界規模の HTML ファイル数を考えるから破綻しそうになるんだよ。
始めはこつこつ、数万ファイルくらいから始めるがよいだろうね。
ちなみに、インターネット上のデータは、半年で２倍になっているらしいね。
これは HTML,XML 以外バイナリデータも含んでいるけど。
ムーアもびっくりだ。
0320デフォルトの名無しさん
NGNGP2Pでインデックス情報とページランキング情報を交換し合うくらいしか無いような飢餓。
0321デフォルトの名無しさん
NGNG天才は思いついた後、地道に考えるけど、
バカって思いつきだけで終わるよね
この違いをバカは知らない
0322デフォルトの名無しさん
NGNG0323デフォルトの名無しさん
NGNGなんらかの専門分野のサーチェンジにしとけば、
適当なマシーンで十分いけるけどな。
0324デフォルトの名無しさん
NGNG0325デフォルトの名無しさん
NGNG0326ごみ垂れ流し
NGNGブラウザキャッシュ？
ブックマーク＋手動評価？
それ以外の手動登録？
まさかの個別ロボット？
単騎及び、一部専用ノードのロボット収集？
・検索処理はどこで？
鯖側
→インデックス化(全文の場合)の負荷もあわせると、
やる気なくしそう(モノによるけど)
蔵側
→流量大目(モノによるけど)
・クエリ先は？
全体
→なんか効率わるそう
クラスタ(winny みたいな自己申告クラスタワードの塊？)
→量少ない？
なんか、全文型より評価付き共有ブックマークの方に思考が流れてしまう…。
ロボ使うと難易度と手間が…。
0328デフォルトの名無しさん
NGNG> 結果は厳選されているそんなサーチエンジンを作りたいと思う。
3フェーズ敵対型サーチエンジン 「ハヤブサNG」 "HAYABUSA Next Generation"
【アルゴリズム】
入力：キーワードX
↓
フェーズ1 (try)キーワードXでgoogleし、ダメっぽいサイトAを抽出する。
※抽出精度は低くても良いが、誰が見てもそこそこダメっぽくなければいけない。
↓
フェーズ2 (throw)2chにスレッドを立てる。
※例 「Xに関してはサイトAが一番。他はクズ。知らないヤシはヒキコモリ。」
※このアルゴリズムが敵対型と呼ばれるキモのフェーズ。
※板の選別や煽り方に熟練を要する。
↓
フェーズ3 (catch)適当な時間が経過した後でレスを回収する。
↓
出力
【問題点】
日本語以外が不得意(全くダメというわけではないが)
0329デフォルトの名無しさん
NGNG0330デフォルトの名無しさん
NGNG0331デフォルトの名無しさん
NGNGhttp://www.hotwired.co.jp/news/news/technology/story/20030418305.html
> ウェブ検索会社の米ルックスマート社は、『SETIアットホーム』が
> 宇宙人探しのためにやったのと同じことを、ウェブ検索のために
> 行なうという野心的な計画を進めている。
スレにもってこいの話題だろ？
0332デフォルトの名無しさん
NGNG0333デフォルトの名無しさん
NGNG面白いね
0334デフォルトの名無しさん
NGNG成功するかどうかはどうでもいいが実際に運用してほしいなぁ。
すっげー気にNULL
0335山崎渉
NGNG（ ＾＾ ）＜ ぬるぽ（＾＾）
0336山崎渉
NGNG（ ＾＾ ）＜ ぬるぽ（＾＾）
0337デフォルトの名無しさん
NGNG0338デフォルトの名無しさん
NGNGttp://news2.2ch.net/test/read.cgi/newsplus/1050771700/
２ちゃんねる検索β版。LIVEなスレやレスをリアルタイムで検索できる
らしいんだが、リアルタイムに検索できて嬉しいことなんてあるのか？
漏れには思いつかん。
0339動画直リン
NGNG0340デフォルトの名無しさん
NGNG共有ブックマークというとblinkとかいうのがありませんでしたか？
最近あまりきかないので盛り上がってないのでしょうか。
blogの基本はリンクに対するコメント、という捉え方が正しいなら、
ある程度大きなblogのコミュニティの集合があって、
それをカバーするそれなりに強力な検索エンジンがあれば
共有ブックマーク的なものになったりしないでしょうか?
326さんは何かアイデア(や妄想)をお持ちなのでしょうか。
0341デフォルトの名無しさん
NGNG・・
0342デフォルトの名無しさん
NGNGhttp://pc.2ch.net/test/read.cgi/linux/1031975012/l10
これだ。ひろゆきは本気らしい。
> [27] 名前： ひろゆき ◆HRUNYAXA | [email protected] 投稿日： 02/09/14 13:03 ID:/NZMwIXQ
> 今回の検索サービスはhtml化した過去ログは想定外で、
> ライブなスレッドだけを対象にしてます。
> ライブなスレッドの数は203928個です。
0343デフォルトの名無しさん
NGNG調子はいかが？
03441
NGNG学校が忙しくてね
0345デフォルトの名無しさん
NGNGいっそのこと、メタでやってみたら？
スコアリングとか、詰めていけばけっこう面白いかもです
vivisimo愛好家より
0346デフォルトの名無しさん
NGNG漏れも使ってるよ
スレ違いsage
0347デフォルトの名無しさん
NGNG0348デフォルトの名無しさん
NGNG+
ページランキングならぬリンクランキング
厳選されたブックマークが得られそうな予感
0349デフォルトの名無しさん
NGNGたしかに プログラミング VB って検索して出てきたホームページ行くと
日記とかに出くわしてやる気が失せるときもあるしなぁ。
たとえばキーワードで検索した後、その人がどのホームページに何分いたかを調べて、
たとえば５分以上であれば、まぁいいサイト。５分以下だと悪いサイトって感じにするのもイイって
あまり技術もない俺が何も言えんが。
しかもこれじゃストーカーみたいだ・・・
あとはtitleタグだけで検索するとか。ある程度タイトルは厳選されているから。
ただこれも画像で済ませる人がいるから無理か・・・
0350デフォルトの名無しさん
NGNGその新手法を逆手にとって訪問者を増やそうとする人間がノイズを増やして
結局新手法が役に立たなくなる、という歴史の積み重ね。
手法や閾値が公開されていない手法が最善の手法なんと違いますかね？
0351＞1
NGNGn-gram
WebPage を無制限に拾っても、結果表示一秒以下。
テキストマッチが最後には重要... 単なるテキストマッチはスパムに弱いか
0352デフォルトの名無しさん
NGNGさっさとDAT落ちしろよ。
0353デフォルトの名無しさん
NGNG書いてスッキリすれば(w
0354デフォルトの名無しさん
NGNG＞あとはtitleタグだけで検索するとか。ある程度タイトルは厳選されているから。
今でもというかずっと昔からtitle:を付ければ可能なのだが。意外と種々の検索式は
知られていないようだ。
0356デフォルトの名無しさん
NGNGフレッシュアイの検索博士がいつの間にか復活してて、ちょっとうれしかったり。
中身TOCCだけど。
かんけいないけどさ。
0357デフォルトの名無しさん
NGNGそうなんだよね。しかも１word一発で最上の結果を要求される。
その実求めているものは違う。
アイドルの画像、アダルトサイト、公式サイト、掲示板のスレ・・・
入力されたwordから完璧に自動判別できれば、勝手に内部でフィルタかけたりできそうだって考えて実装研究したんだが、結構うまくロジックにならないんだよ。
大勢のニーズの最大公約数を満たすスコアリング手法がPageRank TM 以上のものを見つけたいと思ってるのだが難しいね。
誰かアイディアないかな？
0359デフォルトの名無しさん
NGNG0360デフォルトの名無しさん
NGNG流石に「アイドルの画像」だけで期待している結果が出たらまずいだろ。
深田恭子を見て「かわいい！」と喜ぶ奴もいれば、「でぶ？」と思う奴もいる。
言葉は同じでもそれぞれの人間が期待している内容は全然違うってこと。
だから、「入力されたwordから完璧に自動判別」てのは根本的に無理、不可能。
で、ここからが本題。
ユーザ向けに自動でカスタマイズされてく検索クライアントなら何とかなりそうだろ。
検索自体はgoogleAPIを使うとして、検索式を自動で補完する仕組みを考えてくれ。
0361360
NGNG何だかログを見てたら自分で作った方が早いような気がしてきた。
とりあえず、全自動カスタマイズは後回しにして
filetype:とかsite:とかを工夫してみる。
0362デフォルトの名無しさん
NGNG期待してますよ
0363デフォルトの名無しさん
NGNG0364デフォルトの名無しさん
NGNGそれはそれで困るかもw
0365360
NGNG・advanced_searchの項目は全部GETのq=以下で送っている。
APIは無くてもいい。URLに直接書いても動く。
・advanced_searchでは同じextのOR検索は選べないが、
"filetype:pdf |filetype:ppt"と直接いれれば可能。
しかし、"filetype:pdf|filetype:ppt"とすると
"pdf|filetype:ppt"を拡張子とみなされて失敗。
パージングの条件が変わるらしい。
・phrase検索のときword-wordとword=wordや"word word"の結果が違う。
何故？
0366デフォルトの名無しさん
NGNGつーか考え方自体が全然ダメ。
検索式の自動補完なんてやったってユーザーは喜びません。
0367デフォルトの名無しさん
NGNGさて、それはどうだろう？
話の腰を折るのは止めて、とりあえず、結果を待ってみてはいかが？
念のために言っておくけど、漏れは360じゃないよ。
0368360
NGNG・googleは日本語の助詞を正しく取り除いていない。
・クエリの q= に直接日本語を打ち込んでも検索できた。
googleAPI関連のドキュメントより。
・日付制限
q=searchword+daterange:2452122-2452234
ジュリアン日付で一日単位で制限できる。
・検索範囲の制限
lr=lang_ja|lang_en
restrict=linux.conutryUS
言語やトピックの制限にもブール演算が使える。
0369デフォルトの名無しさん
NGNGアク解は遠慮してね
0370エンジンニュース
NGNGhttp://internet.watch.impress.co.jp/www/article/2003/0515/pagerank.htm
Googleで使われている｢PageRank｣高速化手法をStanford大学の研究者が発見
0371デフォルトの名無しさん
NGNG0372デフォルトの名無しさん
NGNG0373デフォルトの名無しさん
NGNG調子はいかが？
>>371
はやぶさ、ですなw
0374デフォルトの名無しさん
NGNGそれを次回クロール時から1バイト単位で重量比較監視する。
重さに変化が見られれば、検索結果にそのページを表示させる。
つまり、初出URLは一度目からは検索対象にしないということ。
半年間変化が無いものは検索側の結果表示から排除する。
その後も監視しつづけ、また変化があれば検索に載せる。
つまりWWWCを数十億ページ単位でやるような感じ。
人がやって数百も無いページ数でも管理が大変なんだから、
それをいかに自動化させるかが問題。とにかくハードが大変。
--よいページとは随時更新され続けるページのことである-- by 名無し語録
0375デフォルトの名無しさん
NGNG周期が安定、
ほし
0376デフォルトの名無しさん
NGNGますます日記サイトのヒット率が上がる罠。
0377デフォルトの名無しさん
NGNGだね
検索ノイズが増える罠
0378374
NGNGんぁ 確かに。
自分でも普段から検索に個人の日記が引っかかることが
鬱陶しいと思っていたことを忘れていた。
でも良いサイト（ページ）は土日祝日以外は毎日更新しているところだと
思うんだよね。それを評価基準に生かせないかと
0379デフォルトの名無しさん
NGNGWebのカテゴリ分けができないとノイズが減らないのよ。
0380デフォルトの名無しさん
NGNGをかえる
0381デフォルトの名無しさん
NGNGただ、日記の中にも、公式技術文書にはそんざいしない、
その個人特有の環境に基づく役立つ技術とかあって、完全排除は困る。
>>379 のような分類後に、選択が可能でないと。
例：
・Unix系OSの作業でとらぶったときに
・ある商品の評判・評価・とらぶる例を知りたいときに
0382デフォルトの名無しさん
NGNGhttp://news.goo.ne.jp/news/search/search.php?kind=web&day=all&MT=
だと結果が???になるので修正してほしいのですがよろしくお願いします。
0383デフォルトの名無しさん
NGNGマルチポストはお勧めできませんな
0384デフォルトの名無しさん
NGNG更新頻度でサイトの質を測る、という考え方には同意できませんね
放置されてる学術論文とか、web上には有意な情報が多く埋没してるので
0386デフォルトの名無しさん
NGNGgooの中の人に言ってるのか？こんなとこ読んでないと思うぞ。
MT=以降をEUCでURLエンコードすれば済む話だ。
あと、あまり高頻度に巡回すると嫌われるから気をつけろよ。1分ぐらいは間隔を空けてやれ。
0387デフォルトの名無しさん
NGNG0388デフォルトの名無しさん
NGNG0389382
NGNGhttp://pc2.2ch.net/test/read.cgi/esite/1031482990/922とここの2件以外は別人です。
>>386ヒントありがとうございます。“EUCでURLエンコード”でぐぐって解決しました。
0390デフォルトの名無しさん
NGNG>>382,>>385,>>388,>>389
すべて文体まで同じの同一人物じゃねーか 病的な嘘つきだな。
0391382
NGNG>ここの2件以外は別人です
ここのスレとhttp://pc2.2ch.net/test/read.cgi/esite/1031482990/922のスレに質問書いたと言う意味だがなにか？
388の時間俺寝てたし。
オマエも病的馬鹿なんじゃねーの晒しage
0392デフォルトの名無しさん
NGNG余計だと思うサイトが一致しない限り、
うまくいかないだろ。
てか、Googleは出るサイトが多い。
yahooは出るサイトが少ない。
この差のできるわけを勉強してこい。
そしたら、そんな都合の良いものできないわけがわかる。
0393デフォルトの名無しさん
NGNG難しい問題に対して、何かアイディアを出す事に挑戦するのが
平均以上の知性を持った人のとる行動だ。
0394デフォルトの名無しさん
NGNGあらかじめ１００個の質問に答えておく事で
ユーザーの特性を把握して
検索結果を表示する事もできるだろう。
どんなサイトを訪れているかを調べる事で、
ユーザーの趣向を分析する事もできるだろう。
0395デフォルトの名無しさん
NGNGで、その個人情報は転売されるという訳でして(-人-)
AllTheWebが最近始めた「クラスタ分け」を、上手い具合に進化させる事が出来れば良いんですけどねぇ
0396デフォルトの名無しさん
NGNG個人情報での filter は利用者側が持つ、って形にすれば転売は避けられそう。
今どきの PC なら、それなりに処理能力ありそうだし。
0397デフォルトの名無しさん
NGNG検索者側のムラをどう処理するか…
sageの日もあれば、ageの日もある(w
調整バーが必要？
0398360
NGNGgoogle検索式の入力補完はjavascriptで書いた。
全く複雑なことをしていなくて恥ずかしいが、
欲しい人がいれば上げる場所を用意してくれい。
0399デフォルトの名無しさん
NGNGどんなんか見てみたいので公開してほすぃぞ。
0400金策エンジン
NGNGhttp://www.xrea.com/
http://tok2.com/
http://www.hossy.flnet.org/
http://www.world-01.com/
http://e-jts.com/
http://chobi.net/
free cgi可
場所ってそういうことじゃなくて？
0402デフォルトの名無しさん
NGNG漏れも見たいっす
0403360
NGNGとりあえず、iswebに場所をとってアップする予定。
実は3kBくらいしかないのでアップローダでも充分な気もする。
せめて類義語で展開したいのだが、無料で使える辞書が見つからない。
再配布自由の類義語辞書があったら教えてくれ、または誰か作ってくれ。
0404デフォルトの名無しさん
NGNGhttp://www.hotwired.co.jp/news/news/20030520202.html
0405デフォルトの名無しさん
NGNG0406デフォルトの名無しさん
NGNG> 結果は厳選されているそんなサーチエンジンを作りたいと思う。
そうだなぁ。まずは誰か、『優良なページ』の定義を出来るやつはいないか？
話はそこから。
0407360
NGNGhttp://threesixty.hp.infoseek.co.jp/
0408デフォルトの名無しさん
NGNG漢字/ひらがな/カタカナ/英数字/記号毎とかに分割するってこと？
0409デフォルトの名無しさん
NGNG501 Not Implemented
エラーが帰ってきちゃうんですが。
0410デフォルトの名無しさん
NGNG0411デフォルトの名無しさん
NGNG遅レスだけど"past N days"はいいね。
これを手動でGoogleの検索窓入れると
ユリウス日の指定がめんどくさいもんね。
現在の日付と交換してくれるコンバータはたくさんあるけど。
ttp://hi.sakura.ne.jp/~nmaeda/web/jd_calc.shtml
検索結果を最近30日に固定してGoogle最新ってサービスが
出来るかもしれない。
0412デフォルトの名無しさん
NGNGこれあげる
http://rss-jp.net/googlefresh.cgi
0414デフォルトの名無しさん
NGNG0415デフォルトの名無しさん
NGNGNamazu とかのこと？
それともロボットを使ってページ集めたりもしちゃうもの？
0416414
NGNGカスタムなクローリングとインデックス化ができるロボットがほしいです．
それで，いくつかの指定したWebサーバや，指定したドメインに特化した
サーチエンジンがほしいと思います．
例えば2chのサーバだけとか．
サイトを限ることで，新しい情報が収集しやすいし，自分の興味に特化したり，
サーチの質も自分向けにカスタム化できるといいなと思っています．
0417デフォルトの名無しさん
NGNGhttp://hoshizawa.no-ip.com/suzaku/
0419デフォルトの名無しさん
NGNG0420デフォルトの名無しさん
NGNGおれも作った。LWP 使ったら十数行でできた。
0421デフォルトの名無しさん
NGNG公開きぼんぬ。
0422デフォルトの名無しさん
NGNGCTAN から関連ファイルとってきて perldoc すれば、概要がわかる。
指定URLから、リンク一覧をハッシュで取得できるので、
それを芋づる式にたどっていけばよい。
0423デフォルトの名無しさん
NGNGページ全体にランキングが生じるから
キーワードでフィルタリングされた状態では非常に
疎なランキングになるよね。
しかも、ページランキングの値とキーワードとの
マッチングの評価が不完全になる。
そこで、検索キーワードを持ったページ同士のリンクの距離から
各ページのポイントを決定して（つまりランキングをつける前に
キーワードでフィルタリングしておくような感じ）、しかも
そのページのリンクからなるネットワーク空間の重みもあわせて
優良ページを決定していったら？
複合キーワードはそれぞれのキーワードごとに評価しておいて
ベクトル量を計算すればいいと思うんだけど。
ダメ？
0424デフォルトの名無しさん
NGNG> そこで、検索キーワードを持ったページ同士のリンクの距離から
> 各ページのポイントを決定して（つまりランキングをつける前に
> キーワードでフィルタリングしておくような感じ）、しかも
> そのページのリンクからなるネットワーク空間の重みもあわせて
> 優良ページを決定していったら？
TEOMAで実装済みかな？
http://www.zdnet.co.jp/internet/runner/0206/sp1/part3a.html
0425デフォルトの名無しさん
NGNG勉強になりますた。
0426423=424
NGNGフィルタリングしたページと「さらにリンクそのもの」を評価する
って部分もやっぱガイシュツだったですか。
でそうな。誰でも思いつくか。
でも自分のロジックが実用化されてちょっとうれしいでつ。
0427デフォルトの名無しさん
NGNGTEOMAを使ってみた。
期待通りのRefineが出やすい分野と出にくい分野があるのは
関連概念を抽出する方法が全自動ではないから？
面白そうだけど日本語対応は当分無理かもしれない。
0428423
NGNGそーなんですか。
特に複合語検索に対してはこれといって新しいものはないようですし。
そこが最大のハードルなんですよねぇ。
ちなみに
426で423=424と名乗ったのはわたしで、423=425の大間違いでした。
424さんめっさごめんなさい。そして有益な情報ありがとうでした。
0429デフォルトの名無しさん
NGNG0430デフォルトの名無しさん
NGNG検索結果をFlashの地図で表示するメタサーチエンジン「KartOO」がバージョンアップ
http://internet.watch.impress.co.jp/www/article/2003/0311/kart.htm
http://www.kartoo.com/
0431デフォルトの名無しさん
NGNGluceneって何？
0432デフォルトの名無しさん
NGNG参考記事を拾ってきますた
http://biztech.nikkeibp.co.jp/wcs/leaf/CID/onair/biztech/inet/243260
文字化けはするものの、日本語での検索が可能っぽい
0433あぼーん
NGNG0435デフォルトの名無しさん
NGNG0436ハッカ飴
NGNG仕事でとか趣味でとか、会社で、家で‥‥‥
なら、それら全てを見せてしまったらどうだろう？
もちろん見やすい形にはする。
ヒットしたページのうち、上位ページの内容がバラバラになるようにするんだ。
ヒットしたページをさらに分類し、それぞれの分類から適当に1つ取り出せば可能。
検索結果を自動的にディレクトリ分けするという感じ。
0437ハッカ飴
NGNGスコア順とは言っても、それは検索エンジンによって勝手につけられた点数だし、
各サイトへのリンクは上から下に一列に並べられている。
リンクの先は検索によって絞り込まれているとはいえ、一列には収まらないほど多様なことは間違いない。
検索結果は最大100件程度で、リンク先を知る手がかりはページのタイトルと、
ただ引用した程度の要約だけ。
これ以外の手がかりは検索エンジンが内部に持っているのだろうが、ユーザーが知ることは無い。
結果の出し方は改善の余地があるんじゃないだろうか？
0438デフォルトの名無しさん
NGNG0439デフォルトの名無しさん
NGNG↑
このスレについて触れてますね
0440デフォルトの名無しさん
NGNG勉強してみたんですが、面白いっすね。難しいけど。
処理自体は機械的？ だから形態素解析は辞書が全てな気がする。。。
いや、このスレの話題には直接関係しないですけど。。
すいません。では。。
0441デフォルトの名無しさん
NGNGいいんじゃないの？
今後の検索エンジンに望む事とか、今現在あるエンジンへの不満とか。
0442360
NGNG形態素解析は辞書が全てと言えないこともないが、
構文解析アルゴリズムも結構重要。
最近のIMは意味解析まで使うのが一般的。
ex.「本に載る」「車に乗る」を一発で変換できる。
本題に戻すとinfoseekは形態素解析を使っているのが、
「犬を食べる」と「犬が食べる」の検索結果が全く同じ。
「犬 食べる」と「犬 食べた」も同様だが、「犬 食べ」は違った。
名詞や動詞の語幹を切り出してAND検索しているのだろう。
精度と速度、データ量のバランスを考えるとこれ以上は難しいかもしれない。
0444デフォルトの名無しさん
NGNG実際に見てみないとわからない。そこで、実際にページを見てみて
好感度を個人毎に登録すべし、その登録された情報に基づき、その人
個人、個人のヒット率が上がっていくってのはどうでしょうか？
当然、ある人の好みと、また別の人の好みは似通っており、嗜好の
類型毎にグルーピングされていき、自分はどのグルーピングにに属して
いるか（どんどん嗜好の濃度が濃く成っていく）によって、そのグルー
ピングの人が好む検索結果が推測されて出力される。
同じ趣味の人のリンク先は、結構自分にも合うかもってことでしょう？
私が望む検索エンジンはこんな感じですかね。
（一般検索の場合にはこの嗜好フィルタをはずすこと）かな？
でも、似通い過ぎて新たな発見がなくなっていったりして、、、
新規のページもヒットしなく成ったりして、、、
でも、ちょっとした工夫で面白い検索エンジンができるかもね。
では、お休みでござる。
0445デフォルトの名無しさん
NGNGhttp://cg.iclub.to/link/ranran1/
0446デフォルトの名無しさん
NGNG何だかwinnyのクラスタみたいな気がした。
まあ、P2Pでも中央集権でもいいのだけど、それ風のフローチャート。
０．各ユーザは検索単語のリストとお勧めＵＲＬ、お仲間リストを持つ。
１．検索リストが重なっている他のユーザを探す。
２．もし見つかったらそのユーザを自分のお仲間リストに登録し、
３．お互いのお勧めＵＲＬとお仲間リストを交換する。
４．１～３をしばらく繰り返す。
５．お仲間リストの人たちの評価を元に検索結果を出す。
（２回目以降は既にお仲間リストがあるので検索が早くなる）
６．実際に検索結果を見て採点する。
無視したいＵＲＬのリストを作っておいてそれをお勧めしている相手は弾くとか、
検索単語が同じでも評価が大きく違う人は無視する仕組みが必要、と。
0447446
NGNGこれって検索エンジンよりもblogにかぶるのでは？
「自分の検索結果を良くする」という明快な目的があるから
高品質なものだけをお勧めするようになるだろうし。
紹介文はないけど、逆に二次情報が氾濫しないで済むかも。
0448デフォルトの名無しさん
NGNGいいんじゃないの。
http://www.blink.jp/
0449446
NGNG以下はとりあえずの印象。
・自分に合う人を見つけられれば最高（になると思う）
・宣伝が多い、ヒットチャートは超メジャー多数、などデータに難有り。
・あるＵＲＬにリンクした人を検索することが出来ればいいかも。
0450デフォルトの名無しさん
NGNG技術とかカンケーなしに話題性十分だぞ
もちろんアングラとなるがｗ
0451デフォルトの名無しさん
NGNG訴えられないか？
でも確かにrobots.txtは紳士協定だからね。
0452デフォルトの名無しさん
NGNG法的にどうなのか、気になるところですね
0453デフォルトの名無しさん
NGNG外道エンジン自身は、メタタグやrobot.txtで収集規制してたりしてw
0455デフォルトの名無しさん
NGNGセマンティックwebか、、、
0456デフォルトの名無しさん
NGNGもう既にあったりしてw
0457デフォルトの名無しさん
NGNG0458デフォルトの名無しさん
NGNGとりあえず何でもいいから簡単な検索エンジン作ってみれ
テストコレクションは比較的小さいmedを
ｆｔｐ://ftp.cs.cornell.edu/pub/smart から持ってな(Webデータじゃないけど)
作ったらtrec_evalで11点平均適合率を算出汁
0459山崎 渉
NGNG|（ ＾＾ ）| ＜寝るぽ（＾＾）
|＼⌒⌒⌒＼
＼ |⌒⌒⌒~| 山崎渉
~￣￣￣￣
0460デフォルトの名無しさん
NGNG0461デフォルトの名無しさん
NGNG法的には問題ないだろ。
「リンク先のコンテンツには責任もたねぇぞゴルア」
とか書いとけば。
0462デフォルトの名無しさん
NGNG0463デフォルトの名無しさん
NGNGつーか高「機能」って何よ?って話
QAとかも一機能なわけか?
0464デフォルトの名無しさん
NGNG直リンお断りって書いてあっても？
0465デフォルトの名無しさん
NGNG>直リンお断りって書いてあっても？
断り書きがあったからどうだというのだ？
直リン禁止と書いてあっても法律的には何の拘束力も無い。
ついでに直リンは著作権の侵害にもならない。
0466デフォルトの名無しさん
NGNG（´∀｀）
0467山崎 渉
NGNG0468デフォルトの名無しさん
NGNG進捗があったら書き込んでくれ。せっかくだから。
0470山崎 渉
NGNG│ ＾ ＾ │＜これからも僕を応援して下さいね（＾＾）。
⊂| |つ
（＿）（＿） 山崎パン
0471デフォルトの名無しさん
NGNG0472デフォルトの名無しさん
NGNGインデックス数の事でしょうか？
0473(*∠＿*) ダカラドーシタ
NGNGGoogle Code Jamというプログラミングコンテスト(CNET Japan速報記事「米グーグル：「プログラミングコンテスト出場者を求む」」をご参照)が10月から11月にかけて開かれる。
参加資格は18歳以上(世界中の誰でも)。予選はオンラインで、決勝(トップ25人)はシリコンバレーのGoogle本社で行なわれる。
腕自慢の日本人プログラマーたちには、この機会にぜひその実力を発揮してほしい。
Google Code Jamのファイナリストといえば、これから腕一本でプロとして生きていきたい若い人にとっての大きな勲章になる(中途半端な学歴なんかよりうんと価値がある)。
ファイナリストに残る日本人がいれば、日本人プログラマーの実力が世界でもトップレベルにあるという事実を、広くアピールできるだろう。
さて、コンテストの仕組みとスケジュールであるが、
参加者全員から500人にふるい落とす「Qualification Rounds」、
500人を250人に絞る「Online Elimination Rounds 1」、
250人から25人に落とす「Online Elimination Rounds 2」。
ここまではすべてオンラインなので、自宅から参加できる。
そして、ファイナリスト25人はGoogle本社での「Onsite Championship Round」に進むことができる。
★google code jam 公式サイト(excite翻訳) http://www.excite.co.jp/world/url/body?wb_url=http%3A%2F%2Fwww.topcoder.com%2Fpl%2F%3F%26module%3DStatic%26d1%3Dgoogle%26d2%3Dgoogle_overview&wb_lp=ENJA&wb_dis=2
0474デフォルトの名無しさん
NGNG0475デフォルトの名無しさん
NGNG0476デフォルトの名無しさん
NGNG0477デフォルトの名無しさん
NGNG何ですかそりは？
0478デフォルトの名無しさん
NGNG自らが作ろうとは思わないわけ？
0479デフォルトの名無しさん
NGNG0480デフォルトの名無しさん
NGNG0481デフォルトの名無しさん
NGNGうーん、ロボット型とはちゃうが、
２ｃｈクルーして、dat収集してる。
Namazuはついでにやろうかと。
0482デフォルトの名無しさん
NGNGそのNamazuの部分も作ろうぜー
0483デフォルトの名無しさん
NGNG0484デフォルトの名無しさん
NGNG0485デフォルトの名無しさん
NGNG0486デフォルトの名無しさん
NGNG公開しているページなら google まかせで良いので、
検索だけじゃなく+アルファの機能を作るための土台として namazu を使いたい。
0487デフォルトの名無しさん
NGNG君が作ればいいんだよ。
0489デフォルトの名無しさん
NGNGすごいよね。
0490デフォルトの名無しさん
NGNG再利用しづらいね。
0491デフォルトの名無しさん
NGNG0492デフォルトの名無しさん
NGNG0493デフォルトの名無しさん
NGNG有料でしょ？
0494デフォルトの名無しさん
NGNGperlでロボットを自作したと書いてあるけどまだそのロボットって残ってるか
0495デフォルトの名無しさん
NGNGまだあるよ。
0496494
NGNGどういう風に動かすのか
0497デフォルトの名無しさん
NGNGこのスレの419だけど、動かし方はコマンドラインから実行するだけ。
設定ファイルがあるので、そこで開始URL（複数指定可）、
何階層までリンクをたどるかなどを指定する。
他には、巡回しないURLを指定できたり、正規表現で指定もできる。
Robot.txtを見るかとか、METAタグを見るかなどの指定もある。
0498496
NGNG書いてある事を読むと今使っているプログラムに似ている。
確か名前はWgetだったかな・・・
0499デフォルトの名無しさん
NGNGまじで笑った
おまえらこれでも読んどけ
http://page.freett.com/intteliart/index.htm
0500497
NGNGクローラーなんてそんなもんだろ？別に俺は発明者じゃないし。
俺の場合は、取ってきたデータは独自の加工をしてDBに突っ込んだり
するんだから自分で作った方が都合がいいんだよ。
0501デフォルトの名無しさん
NGNGそこに書かれた本の8割は持ってる。
残りの2割も知ってる。
あまりいい情報じゃない。
0502498
NGNG書いてあるＵＲＬにアクセスして読んだけどあまりいい情報じゃなかった。
俺はよく行くホームページにあった検索エンジンのソースを変えて、ＷＥＢサーバーを構築してインターネットで
利用している。もう少しで独自ドメインを利用する予定だけど。
0503498
NGNG書いてあったＵＲＬにアクセスしたけどあまりいい情報じゃなかった。
俺はＣＧＩの検索エンジンを毎日ソースコードを変えて利用しやすくしている。
スパイダーを組み込めばYahoo!JAPANみたいなページが出来上がるけど
４月からの正式運用までに間に合うかなと思っている（独自ドメインを利用した
検索サイトを１２月から準備している）。
0504デフォルトの名無しさん
NGNGがんばって。
0505デフォルトの名無しさん
NGNGYahooはカテゴリ型。
0506デフォルトの名無しさん
NGNGWget使うなら検索エンジン部分はNamazuにすれば？とか思うけど。
でもそんな既存のシステムはありふれているわけだが。
0507503
NGNGありがとうございます。と言いたいんだが今日サーバー機を作っていたら使用するＭ/Ｂに
ディスプレイをつける差込口がなかった。だから部品を買いたいんだが今月は３万以上使っているからバイト代が
もう無い・・・・・・。
>>505
Yahoo!JAPANはカテゴリ型だけどロボットも使っている（ハイブリット型と言います）。
>>506
最初はNamazuを利用しようかなと思っていたけどその時はまだ言語を覚えはじめだったから無理でした。
今は大体わかるけどまだまだ。でもＣＧＩは作ってすぐに利用できるからＣＧＩにした。
３月の中旬位から独自ドメインを利用するつもり（まだサーバーも出来ていない・設定もしていない・予算が無い）。
今はWindowsXPでサーバーを立てている。まだ試験運用中だから・・
http://nervnet.zive.net/
上のURLは来月ぐらいまでしか使えない。
0508デフォルトの名無しさん
NGNGそのサイト見させてもらったけど、使ってるスクリプトってYomi-Search？
それとも自作かな？
0509508
NGNG0510デフォルトの名無しさん
NGNGhttp://www.nutch.org/docs/jp/
オープンソース。とりあえず公開されているものでは
出来は最高だと思う。
さて、これをどうするか?
GUIで個人が特定のサイトを検索できるように誰か出来る?
俺は出来ない。出来たらよろしく
0511デフォルトの名無しさん
NGNG多バイトコード使えるの？
0512デフォルトの名無しさん
NGNG・これらのページのインデックスを維持すること
・1秒につき最高1000回の検索インデックスを付けること
・非常に高品質ですばらしい検索結果を提供すること
・最小のコストで動作すること
目指すところは素晴らしいんだけど、これらはソフト側じゃなくて
ハード側の問題だよね。
0513デフォルトの名無しさん
NGNGいや、そこまでスケーラブルということでしょ。
0514デフォルトの名無しさん
NGNGところでもう実用段階なのかな？
0515デフォルトの名無しさん
NGNG0516デフォルトの名無しさん
NGNGhttp://news4.2ch.net/test/read.cgi/news/1076987313/l50
株式会社ウェディングってなによ！
http://money.2ch.net/test/read.cgi/venture/1074128198/l50
株式会社ウェディングの裏事情
http://tmp2.2ch.net/test/read.cgi/company/1075916273/l50
NOAHと株式会社ウェディングと三沢さん
http://sports6.2ch.net/test/read.cgi/wres/1076080325/l50
Googleがクレームにより検索結果を削除
http://news2.2ch.net/test/read.cgi/news2/1076678944/l50
0517デフォルトの名無しさん
NGNG株式会社ウェディング様より有限会社はてな様に削除要請
http://d.hatena.ne.jp/koseki/20040201
Slashdot 株式会社ウェディングがはてなダイアリーに圧力？
http://slashdot.jp/article.pl?sid=04/02/02/095240
外かんのできる街で 株式会社 ウェディングが悪徳商法?マニアックスを訴えるのか？
http://satoshis.cocolog-nifty.com/gaikan/2004/01/post_24.html
くまりんが 見てた !・ 株式会社ウェディングをキーワードから削除した「はてな」
http://ngp-mac.com/kumarin/index.cgi?3444
株式会社ウェディング？なーんか妙なことやってるな
http://smart.way-nifty.com/blog/2004/02/post_1.html
えび日記 : 「株式会社ウェディング」
http://altba.com/bakera/hatomaru.aspx/ebi/topic/1094
0518デフォルトの名無しさん
NGNG株式会社ウェディング ／ /.| ／| アールビバン ⇒
／;;;;'ー |＿＿＿ ／/ .|フジサンケイリビング
いがらしゆみこ ⇒ ／;;;;;;;;;; ＿_ ~―-､＿／ 'ｰ |
フジサンケイアドワーク /;;;;;;;;;;;;;;;;;;;;; r';; ;;ヽ.ヽ ! / ｒ―-､ | ヽ
/::;;;;;;;;;;;;;;;; |!!;; Ｏ;;!〉|llllll| |;;;; ｏ ;;;| 〈 つ
ニセメモ勧誘英会話学校 /:;;;;;;;;;;;;;;;; - `ー-‐' ||||| ヽ＿ _,! | わ
⇒ /:::;;;;;;;;;;;;;;; / |ヽ＿＿＿＿＿__,､ | ぁぁ
シーザディー（CtheD /;:::;;;;;;;;; | | ~ | ｜｜ ｜｜ | | | ああ
旧名称＝サンケイ ／::::;;;;;;;;;;; | ー |/`ｰ'`ｰ' Vー' | | ぁあ
インターナショナル･／:::::;;;;;;;;;;;;;;;;;; | | |ぁあ
カレッジ）／:::::;;;;;;;;;;;;;;;;;;;; | | | ぁ
／::::::::;;;;;;;;;;;;;;;; i | /~⌒!⌒) | | |
／::::::;;;;;;;;;;; ＼ | | / ￣ｌ￣| | |／
／:::::::;;;;;;;; | | / ! | | | 別会社さえ使えば
／::::::;;;;;;; | | __ /| ＿ ＿ ∧_ .| | 何でもありかよ・・・
／::::::;;;;; | | | | | ｜ ｜｜|| |
／::::;;; ヽ ￣￣￣二二￣￣ノ
／～～～～～～～～～～～～～～～`ー――――――'～
0519デフォルトの名無しさん
NGNG0520デフォルトの名無しさん
NGNG0521デフォルトの名無しさん
NGNGどんなシステムになっているのだろうか？
0522デフォルトの名無しさん
NGNG0523デフォルトの名無しさん
NGNG0524デフォルトの名無しさん
NGNG0525デフォルトの名無しさん
NGNGあったっけ？
0526デフォルトの名無しさん
NGNGGoogleを超える検索エンジン作ったるっていう気骨のある
香具師はいないもんかねぇ。
0527デフォルトの名無しさん
NGNG0528デフォルトの名無しさん
NGNGでもそんなものは夢の夢だし、ＡＩができても、ＣＰＵが相当なものでないトナー
0529デフォルトの名無しさん
NGNG0530デフォルトの名無しさん
NGNG検索式もないのにばっちりピンポイントなサイトが出てくると。
0531デフォルトの名無しさん
NGNG0532デフォルトの名無しさん
NGNG0533デフォルトの名無しさん
NGNG・カテゴリ型検索エンジン
・ロボット型検索エンジン
・人力検索エンジン
0534デフォルトの名無しさん
NGNGそれはデータ収集方法の話で入力方法から工夫するアプローチもあるんじゃねーの
0535デフォルトの名無しさん
NGNG0536デフォルトの名無しさん
NGNG0537デフォルトの名無しさん
NGNG儲かってんなー。
0538デフォルトの名無しさん
NGNGってか、特許に引っかかると思うぞｗ
まぁ、本当に作って運営したらの話だが。
0539デフォルトの名無しさん
NGNG儲かってるのか！
一時は商売になってるとは思えないって意味で「日本のGoogle」とか呼ばれてたのに。
0540デフォルトの名無しさん
NGNG>>1のどこが特許に引っかかるの？
0541デフォルトの名無しさん
NGNGなんだかんだ言って今IT業界では一番熱い会社でしょ。
0542デフォルトの名無しさん
NGNG全文検索を利用したサイト間連携：http://mylog.ishinao.net/id/1147
0543デフォルトの名無しさん
NGNGhttp://www.8823.net/
0544デフォルトの名無しさん
NGNGはてなも最初はそんなこと言われてたのか。
0545デフォルトの名無しさん
NGNG「大げさに言えば、一種の神憑り状態なのかも。そこで俺が言いたいのは『はてなは日本の Googleである』ということだ」
「提供してるサービスは全然違うけど、共通点はあるね。さっきもいったユーザの利便性を高めるサービスをシンプルで軽いインタフェースで提供しているところ」
「金よこせ的雰囲気がなくて、逆にどうやってビジネスを成り立たせているのだろうかと心配になるところ（笑）」
http://www1.neweb.ne.jp/wa/yamdas/column/technique/c-tools2.html
0546デフォルトの名無しさん
NGNG0547デフォルトの名無しさん
NGNGプルダウンメニューで選んでいくってか？
0549デフォルトの名無しさん
NGNGヨメネ
0550デフォルトの名無しさん
NGNG0551デフォルトの名無しさん
NGNGProxyを個々のPCに用意して、それぞれが閲覧したページを保存しておき、
それから作ったインデックスを検索するようなね。
Webブラウジングとクロールを同時に行うところがCoolだと思っていたのだが。
Nutch見たら、P2Pだと遅すぎて使えねえって書いてあったよ・・・
0552デフォルトの名無しさん
NGNG…っていう流れになりそうだもんね、 P2P だと。
それはそれで用途がありそうな気はするけど。
興味ある分野とかの単語いくつも指定して放置すると、毎日ずっと検索しててくれる…とか。
search engine っていうより、 bookmark の共有みたいなものになるけど。
気に入らなかったページは保存しないとかできれば、誰かの気に入ったページだけが出てくるとかもできるし。
0553デフォルトの名無しさん
NGNG串でクロールするっていっても、プライバシー対策とか偽造対策が大変そう。
スピード面は、うまく作ればP2Pでも問題ないと個人的には思う。
0554デフォルトの名無しさん
NGNG絵に描いた餅じゃねーだろうな？
0555551
NGNG偽造対策は、うまく広まれば数でカバーできるんじゃないかな。
問題はプライバシーだけど、まあそういうのはおいおい考えていけば良いと思う。
>スピード面は、うまく作ればP2Pでも問題ないと個人的には思う。
同意。
nyなりで数秒で結果が(とりあえず)返ってくることを考えれば、そういう結論にもなると思う。
>で、君たちは実際にP2P検索エンジンを作り始めてるの？
確かにここは「超高機能なサーチエンジンを作りたいんだけど」スレだからな・・・
いいだしっぺの法則に則って、何となく作ってみるよ。
期待しないで1,2日待ってくれ。
念のため確認するけど、今のところそれっぽいのを作ってる人いないんだよね？
0556553
NGNGたいしたもんではないし、ありふれてるんで(ry
0557551
NGNGNamazuってこんなに馬鹿だったのか・・・＿|￣|○
0558デフォルトの名無しさん
NGNG0559551
NGNGよさげですね。あとで試してみます。
ありがとう
0560デフォルトの名無しさん
NGNGttp://headlines.yahoo.co.jp/hl?a=20040406-00000004-wir-sci
0561デフォルトの名無しさん
NGNGそのとおり、Namazuは作者でさえ使っていない。
http://itpro.nikkeibp.co.jp/members/NBY/techsquare/20040402/2/
フリー・ソフトウェアとして開発された全文検索システム「Namazu」は
企業や官公庁を始め広く使われている。
しかしその開発者である筆者は現在あまりNamazuを利用していない。
0562デフォルトの名無しさん
NGNG検索漏れが無いもの？
インデックスサイズが小さいもの？
対象とする言語は日本語のみ？
ほんとうに>>1が言うようにGoogleのような大規模なものを作るの？
まだ、やりたいと思ってる人はいる？
>>1は、どこいったの？
0563デフォルトの名無しさん
NGNG開発言語は何を使うの？
ライブラリは、どの程度まで許容する？
（たとえば、C++で開発するなら標準ライブラリ限定とか）
0564553
NGNGとりあえずperl + 茶筅 + MySQLで、
TF-IDF、品詞、出現要素等の組み合わせで重み付けして検索できるとこまでは作ってみたけど、まだまだｼｮﾎﾞｲ
TFに対応する要素をSQL的正規化して格納してるから、インデックスサイズ爆発。
複数語指定あった時のスコア計算とかも重いー。まだまだ。
ところで。自然言語をRDFにそこそこの精度で変換出来れば、いろいろ面白いことが出来そうな気がする。
PageRankみたいな仕組みと組み合わせて、評価の学習とかもできれば。
0565デフォルトの名無しさん
NGNG見せてください。
0566デフォルトの名無しさん
NGNG0567デフォルトの名無しさん
NGNG0570デフォルトの名無しさん
NGNG0571デフォルトの名無しさん
NGNGRFCから2000ファイル抽出65MB
Grepで検索25秒
2000ファイルを連結して一つのファイルにする。
Grepで検索1秒未満
0572デフォルトの名無しさん
NGNGGrepが一番高機能
0573デフォルトの名無しさん
NGNG0574デフォルトの名無しさん
NGNGっていう前処理をするんだったら、インデックスを作る手間とたいして変わらないじゃん。
実用するんだったら、その連結したファイルにメタデータも付与せにゃならんだろうし。
0575デフォルトの名無しさん
NGNG0576デフォルトの名無しさん
NGNGまったく違います。
インデックスを使ってgrepと同じ効果を出すのは難しいです。
0577デフォルトの名無しさん
NGNG0578デフォルトの名無しさん
NGNG0579デフォルトの名無しさん
NGNGが0xffffffff(4,294,967,295)近くで止まってるのがちょと気になる。
0580中の人
NGNGハゲ同！ 久しく変わってないよね
0581デフォルトの名無しさん
NGNGたしかに！
仕様の壁か？
0582デフォルトの名無しさん
NGNG0583デフォルトの名無しさん
NGNG0584デフォルトの名無しさん
NGNG0585デフォルトの名無しさん
NGNG0586デフォルトの名無しさん
NGNG0587ニチェ
NGNG,.‐'´ `''‐- ､._ヽ /.i ∠,. -─;==:- ､ゝ‐;----// ヾ.､
[ |､! /'￣r'bゝ}二. {`´ '´＿_ （_Y_）,. |.r-'‐┬‐l l⌒ | }
ﾞl |｀} ..:ヽ--ﾞ‐´ﾘ￣ヽd､ '''' ￣￣ |l !ﾆ! !⌒ //
. i.! l .::::: ｿ;;:.. ヽ､._ _,ノ' ゞ）ノ./
｀ ｰ＝=--‐'´(__,. ..、 ￣￣￣ i／‐'／
i .:::ﾄ､ ￣ ´ l､_／::|
! |: |
ヽ ｰ‐==:ﾆﾆﾆ⊃ !:: ト､
おれたちはとんでもない思い違いをしていたようだ。これを見てみろ。
まず「クソスレ」を英字で表記する
『KUSOSURE』
これを逆にすると、
『ERUSOSUK』
そしてこれを更に日本語に直すと
『エルソサク』
スレを立てたのが>>1と言う事を考えれば末尾に『クソスレ』を加えるのが当然だ。
すると導き出される解は
『エルソサククソスレ』
そして最後の仕上げに意味不明な文字『エルソサク』
これはノイズと考えられるので削除し残りの文字を取り出す。
するとできあがる言葉は・・・・・・『クソスレ』。
つまり！『クソスレ』とは『まさにこのスレッド』を表す言葉だったのだ！！
0588デフォルトの名無しさん
NGNG0589デフォルトの名無しさん
NGNG> 『KUSOSURE』
いや、ここから間違ってるし・・・
0590デフォルトの名無しさん
NGNG0591デフォルトの名無しさん
NGNGもう半年ぐらいになるね。実態に合わない数字なら載せなきゃいいのに。
0592デフォルトの名無しさん
NGNG0593デフォルトの名無しさん
NGNG0594デフォルトの名無しさん
NGNG0595デフォルトの名無しさん
NGNG0596デフォルトの名無しさん
NGNGばか？
0597デフォルトの名無しさん
NGNG１台のPCでLinux４０００台と同程度の処理が同じ時間でできるようになったら
その技術を使ってGoogleは１台でLinuxクラスタ４０００台のPCを４０００台つないで使うわけで（略
0598デフォルトの名無しさん
NGNGGoogleのLinuxというのはPCとは違う特定の機械を指すのか? とか
0599デフォルトの名無しさん
NGNGばか？
0600デフォルトの名無しさん
NGNGばか？
0601デフォルトの名無しさん
NGNGGoogleはLinux10000台以上じゃなかったっけ？全世界でかもしれないけど。
0602名無しさん
NGNGhttp://umasql.netkeiba.com/db/horse.php?hid=2000101537
0603デフォルトの名無しさん
NGNGPCベースのLinuxマシンが最低でも3万台あって世界最高クラスの性能らすい
0604デフォルトの名無しさん
NGNG0605デフォルトの名無しさん
NGNGとくに検索においては。
0606デフォルトの名無しさん
NGNGいくら高精度な検索できても、待ち時間は1分が限界だなー。
検索ボタンをポチッと押したらパッと出るくらいじゃないと厳しい
0607( ﾟдﾟ)ﾎﾟｶｰﾝ
NGNG0608デフォルトの名無しさん
NGNG気づいたら、倍になっていた。
0609デフォルトの名無しさん
NGNGRedHat9で動かしてみたところ動かんのだが、
情報が全然無いので最近のバージョンが動いた人が
いれば修正なしで動いたかどうかでも教えてもらえるとうれしい
[root@analyze01 bin]# ./sen.sh
done.促nPlease input Japanese sentence:
[INFO] Dictionary - token file = /usr/local/sen/dic/token.sen
java.lang.IllegalArgumentException: Tokenizer Class: net.java.sen.ja.JapaneseTokenizer is invalid.
at net.java.sen.StringTagger.init(StringTagger.java:159)
at net.java.sen.StringTagger.<init>(StringTagger.java:97)
at net.java.sen.StringTagger.getInstance(StringTagger.java:135)
at net.java.sen.StringTagger.getInstance(StringTagger.java:102)
at StringTaggerDemo.main(StringTaggerDemo.java:33)
0610デフォルトの名無しさん
05/01/31 13:53:06Redhat9と相性悪いのかもしれません。
antの中を調べたのですが、
token.senを作るはずなのに、出来ていませんでした。
0611デフォルトの名無しさん
05/02/16 15:56:50http://nullpo.2log.net/home/ptysp/archives/blog/deathMarch/2005/01/14_020254.html
0612デフォルトの名無しさん
05/02/17 13:36:32Vivisimoは、クラスタ化された検索結果をユーザに提供してくれる検索エンジンである。
クラスタ化とは、検索結果のページ内に含まれているトピックやテーマなど意味のある固まりごとにグループ分けした上で検索結果を表示する機能である。
http://ask.jp/
米Ask Jeevesの検索サイトAsk.comに対して大幅な改良を加え、本格的に日本語に
対応させた検索サイトである。Ask.jpでは、Subject Specific Popularity(SSP)
と呼ばれる独自のアルゴリズムを採用している。このアルゴリズムは、まず検索キーワード
と関連性の高いWebページを抽出し、そのWebページ群の中からさらに重用度の高い
ページを特定する。
http://www.aeiwi.com/
日本語には非対応
https://adwords.google.co.jp/select/KeywordSandbox
キーワードアドバイスツール
二宮恵:「インターネット生活向上委員会11 ヒントを与えてくれる検索エンジン」, 情報処理学会会誌, pp.196-197 より抜粋
0613デフォルトの名無しさん
2005/05/10(火) 01:43:46中国では人気あるみたいけど
0614デフォルトの名無しさん
2005/05/12(木) 03:53:290615仕様書無しさん
2005/11/14(月) 13:46:09・活用の処理（「行く」で「行った」「行こう」「行かない」等がヒットする）
・表記のゆらぎ（「ゆらぎ」で「ゆらぎ」「揺らぎ」の両方がヒットするとか、
「独壇場」で「独壇場」「独擅場」の両方がヒットするとか）
くらいは実装してくれると嬉しい。
あとは、「もみじ」で「もみじ」「モミジ」「紅葉」がヒットして、しかも
「こうよう」と読みそうな「紅葉」はある程度排除してくれるとか
（少なくとも「尾崎紅葉」はハネてほすい）いった機能なんかは、わりと
（技術的に）いけそうに思うが。
0616デフォルトの名無しさん
2005/11/14(月) 23:27:48後者はちとずうずうしい要求だな。
0617仕様書無しさん
2005/11/15(火) 21:24:43> 後者はちとずうずうしい要求だな。
じつは前者は今日 Java で実装できてしまったのだが、
後者はサーチエンジンというものの通念から見直す必要がありそうなので
ちと困っているのだ。
現在のサーチエンジンの鍵語は基本的に「マッチする文字列」なのだが、
意図としては、「検索したいページ」のイメージがあって、それに
現れそうな語を鍵語として入力しているハズなのである。
で、この「イメージ」って奴ぁとんでもなく高次元の空間上の領域で
表わされるようなシロモノなワケだが、その空間上に一様に分布して
いるわけではなくて、ごく薄っぺらい（つーても二次元じゃ
ないんだろうが）じつは因子分析とかで篩ってやったら、せいぜい
四次元とか五次元に落ちるようなモノでありそうな気がする。
そこで、対象ページのインデクスを鍵語じゃなくて、（四次元とか
五次元とかの制限された空間に射影された）意味空間上の
座標で作り、ユーザと対話するような形で鍵語じゃなくて
「狙いたい意味の（制限意味空間上の）位置」として得て、
マハラノビス距離かなんかの順に提示するとかいったネタを
考えたのだがどうだろうかどうだろうかどうだろうか。
0618デフォルトの名無しさん
2005/11/25(金) 15:42:260619デフォルトの名無しさん
2005/12/07(水) 20:32:180620デフォルトの名無しさん
2005/12/07(水) 21:14:16昔、perlで検索エンジン作った事あります。
http://www.kawanavi.net/koujishi/search.html
もう５年以上前に作った納めたものですが、まだ使われているようですね。
NOT機能は削除されていましたorz
http://cgi2.ias.biglobe.ne.jp/kawanavi/search/search.cgi?keyword=
こちらの検索エンジンはNOT機能ありです。
データーベースは一切使っていません。（クライアントの要求により）
何かの参考なれば...
0621デフォルトの名無しさん
2006/02/12(日) 18:32:56■ このスレッドは過去ログ倉庫に格納されています