検索エンジンをつくりたい
■ このスレッドは過去ログ倉庫に格納されています
0001yam ◆AyW.Rdbg
01/12/22 23:16ID:???自力で商用化をしたいんだけれど、
開発費用っていくらぐらいかかる？
信頼のおける技術者も探しています。
0166nobodyさん
04/03/13 13:49ID:???0167nobodyさん
04/03/16 19:54ID:OF6zD5aFttp://www.tkensaku.com/
類似性検索の逆？が実装されています。
まだ荒いけど、これから面白くなるかもしれませんね。
0169nobodyさん
04/03/16 20:53ID:???15億超えてました
20億超えている？
0170167
04/03/16 21:14ID:OF6zD5aF12億ページもインデックスされていないのでは？
google で「図書館」が約３００万
tkensaku で同じキーワードで約１９万
単純にいって１５分の１ぐらいでしょ。
google全体でも４２億ですし、
tkensaku は日本語だけだからもっと少ないはず。
0171nobodyさん
04/03/16 23:20ID:???ごめん、間違えた。
150万ページはインデックス化されている。
「本」に関連する1508985ページ中の第1位から第10位までを表示しています。
ttp://210.189.72.196/sclient.cgi?value=%96%7B
4年超で法人登記して150万ページか
Record last updated on 02-15-2000 05:51:52 GMT
Record expires on 02-15-2011 05:51:52 GMT
Record created on 02-15-2000 05:51:52 GMT
Database last updated 03-16-2004 21:37:12 GMT
0172nobodyさん
04/03/20 22:57ID:hMly4azrurl を紹介してくれるようなプログラムを作ってみようと
思っているのですが、どこかに先例のようなものはありませんか？
まだ誰も思いついていない？
0173nobodyさん
04/03/21 03:35ID:???金取るが、書いた30秒くらいに反映されたり、
2ch内のすべての文章から検索してくれたり、と
その気になれば結構使える検索エンジンかも。
お金を払うのはちょっとつらいが。
性能はかなりよさそう。
0175nobodyさん
04/03/21 21:30ID:???0177nobodyさん
04/03/22 16:47ID:???MS-Officeでイルカの消し方がFAQになることと、Googleが好ましいとされる理由に「余分なインターフェースがない」が上位に挙げられることを思うと、あまり成功しない気がするよ。
検索エンジンとつながるマスコットが昔あったような気がするな。打ち込んだキーワードを学習して、時々新しいURLを勝手に拾ってきては、飼い主に「みてみて」とせがんでくる奴。
0178172
04/03/23 00:02ID:???確かにうざったいと誰も使ってくれないでしょうね。
検索をしたいときに遊びっぽいとうざったいけど、
遊びたいときにたまたまurlを発見してくれるとか。
やっぱりだめかな。
0179nobodyさん
04/03/23 00:47ID:???要はそのサイトを誰かが評価してあればいいんだよ。
昔はNTTの新着情報からのアクセスが一番多かったものだけど、
ｸﾞｸﾞﾙに新着情報ページがあれば結構アクセスあるかもね。
0180nobodyさん
04/03/31 22:06ID:???音声で会話できるなら、会話型インタフェースも悪くないと思うよ。
0182nobodyさん
04/06/05 23:35ID:KbDZzecN0183nobodyさん
04/06/10 01:45ID:???いずれはユーザに登録させるとしても、最初は
人力で集めるんでしょ？
リンクの多そうなサイトを登録して、そこから
リンクたどってって、徐々に増やしていくとか？
自分も特定の分野の検索サイトをやりたいんだけど、
エンジン作りに挑戦してみようかな。
どっかに、検索エンジンの基本部分を解説してる
サイトってない？
0184nobodyさん
04/06/10 20:45ID:???0185nobodyさん
04/06/19 21:21ID:???作ればいいのかわかる奴いますか？
「クローラの自動巡回でデータ集める」
ってどうやるんだよ・・・分かんねぇ。
0189nobodyさん
04/07/02 03:03ID:wbSwwq8f【必要な機能】 ロボット検索技術を応用した、インターネット上の販売情報を検索することができるソフト。商品名やスペック等からリアルタイムな情報を検索することができる。その得た情報をMYSQLなどのDBに落とし込みたい。
【. 目 的 】 リアルタイムに価格比較できるPC比較サイトを作りたい
【. 使用OS 】 windowsXP
【. 条 件 】 10万以内なら払いたい
■試したけど条件を満たさなかったソフト
【. 名 称 】 まったく見つからず
■これだけはやりました
【 >>1-10、FAQ集、上手な検索の仕方 を読んだ 】 はい
【 調べたサイトの名前 】 GOOGLE YAHOO など大手検索エンジン
【検索キーワードは？ ..】 ロボット型検索技術 クロール ソフト
恐らくこのようなソフトはないと思います。。
この技術の最も単純なソフト。もしくは応用が聞くような単純ソフトがあれば・・・・などと不遜にも考えています。
ちなみに下記２サイトで私がやりたいような事を行っております。
http://www.bestgate.net/
http://yasune.dokoda.jp/
このような技術の雛形などご存知の方いましたらどうかご教授下さい。
0190nobodyさん
04/07/02 03:08ID:???http://pc5.2ch.net/test/read.cgi/php/1086715675/235
↑バラ撒きっぱなしか？
# どこのテンプレを使い回しとるんだ…。
0191nobodyさん
04/07/02 03:52ID:???0192nobodyさん
04/07/07 01:24ID:???だろうが、でなければ意味ないわ。
価格比較にしても、まずは価格比較サイトにいくだろ。ロボットで価格を
漁るということに何の意味も見いだせない。
クローラーは単純だ。「波乗り野郎」みたいなもんだ。
ttp://www.bug.co.jp/nami-nori/
0193nobodyさん
04/07/23 16:09ID:ackJdXhihttp://www.surpara.com/
0194nobodyさん
04/09/03 04:40ID:bPh7a+Nk0195名無しさん
04/10/08 01:02:54ID:TPGoBuLXhttp://umasql.netkeiba.com/db/horse.php?hid=2000101537
0196nobodyさん
04/10/10 23:39:08ID:FanGpL5aGoogleみたいなロボット巡回型は相当難しそうだけど
0197nobodyさん
04/10/10 23:40:21ID:FanGpL5a0198nobodyさん
04/10/13 16:43:48ID:???グーグルの規模を小さくしたような検索エンジン・・・ないよな
0199nobodyさん
04/10/13 21:56:37ID:???ここオリジナルのロボットで運営してるよ
0200nobodyさん
04/12/15 19:54:07ID:???0201nobodyさん
04/12/20 08:16:35ID:???頼むから爆撃アクセスするようなロボットは作らないでくれな。
robot.txtやMETAタグには従うように。
どうせIPで弾くだろうけどな。
0202nobodyさん
04/12/20 10:55:13ID:SmxJcj5bさっき書き込んだときは60くらいだったのに。
さすが2チャンネルだなぁ。
0203nobodyさん
04/12/23 23:53:23ID:yKblct4O１．Inverted File Structureを勉強すること。
２．形態素解析
３．ロボットのこと テキストだけ抜き鳥。
0204nobodyさん
04/12/24 00:28:16ID:nkV22Kja0205nobodyさん
05/03/13 19:43:57ID:cxiEkR1Nhttp://hp6.0zero.jp/anq/anq.php?uid=1696&dir=84
0206nobodyさん
05/03/14 19:36:30ID:???0207nobodyさん
2005/03/22(火) 21:31:01ID:???0208nobodyさん
2005/03/23(水) 03:34:58ID:NriJPZTB検索ロボットとオンラインブックマークの関係について教えて下さい。
（初心者用質問スレが落ちたみたいなので？こちらに書いています）
具体的には、
オンラインブクマに登録されたサイトは検索ロボに登録されてしまうのか
が知りたいのです。
サイト自体は.htaccess、robot.txt、METAタグで
検索ロボを回避する様に設定しているのですが、
・オンラインブクマもロボットの検索対象になるのか（これはなる様な気がする）
もし検索対象になるのであれば、
・オンラインブクマに登録されたURLはそのまま検索ロボに登録されるのか
・もしくは、ブクマされたURLに飛んでからロボ避けがなければロボに登録されるのか
というのがぐぐっても分かりませんでした。
もしスレ違い、板違いでしたら申し訳ありません。
その際は誘導して頂けると嬉しいです。
どうぞよろしくお願い致します。
0210nobodyさん
2005/04/30(土) 21:14:50ID:MqigPbvB登録数１００万件なら、どのぐらいのスペック(サーバー)が必要なんだ？
情報求む。
0212nobodyさん
2005/05/06(金) 00:17:36ID:???「簡単なサンプルプログラム」とは？210じゃないけど。
というか、ロボットは別としてディレクトリ型で
大手の検索エンジン以外で数十万単位の登録ってあるんだろうか？
そしてテキストだけならほぼ普通のレン鯖でも処理出来る気が
するのだが、あくまでも「気がする」程度なのだろうか・・。
0213nobodyさん
2005/05/06(金) 17:34:05ID:???いきなり、実稼動するわけじゃないんだから。。。
ローカルで動くシステムを作ってみれば
どのくらいの負荷がかかるとかわかるでしょ？
そこに、信頼性や要求なんかを加味して
そこから逆算してくださいな
ってことです
そう言えば、昔「ディレクトリ型はロボット型の対義語じゃない」って怒られたっけ
思い出しちゃった
0214nobodyさん
2005/05/24(火) 18:49:33ID:???かなり遅レスで悪いけど、ローカルだと所詮LAN内だから
実際の処理スピードなんて測れ無くないか？
それよりも”100万件”というのが、普通のディレクトリ型の
検索エンジンで可能なのだろうか？ある意味100万件
ジャンル別に集められる検索エンジンがあれば
そこそこ利用してもらえる気がする。
0215nobodyさん
2005/05/24(火) 23:12:25ID:???計れないのは、通信速度であって
処理速度はLANであろうと、WANであろうと変わらない
100万件のデータを扱うなら通信速度よりも処理速度の方が重要だろうと
まぁ、言い訳がましく言うと
もちろん、通信速度も重要だけど
>>210がスペックの話をしていたから処理速度の話だと思った
確かに、100万件もデータがあればそこそこのもんのような気がしますね
yahoo.co.jpの登録件数ってどのくらいなんだろう。。。
0216nobodyさん
2005/05/25(水) 16:09:44ID:???30万ぐらいじゃなかったか？
0217nobodyさん
2005/05/25(水) 21:56:46ID:???ttp://internet.watch.impress.co.jp/static/column/yst/2004/12/03/
> 今現在登録されているサイトの総数は40万件以上になっています。
0218nobodyさん
2005/05/26(木) 07:37:23ID:???0219nobodyさん
2005/05/28(土) 03:56:25ID:???100万件がどうのという話をしているが、それは＝ディレクトリ型
というわけだろ？その時点でどういう検索エンジンであったとしても
二番煎じな気がする。
けど、ネットを利用してみて「欲しい情報を手に入れたい」と
思う人は多いわけで、だからこそ検索エンジンが使われるわけだ。
YAHOO!は知名度で成り立っているから、検索機能としては凄いわけではない。
Googleは莫大な情報量で成り立っているが、逆に言うと多すぎて
色々とみないと欲しい情報を得ることが出来ない。
この2つの点を回避出来たら、システム的にはそんなに大きくなくても
そこそこ利用される検索エンジンが出来ると思う。どうだろう？
0220nobodyさん
2005/05/28(土) 14:02:50ID:???回避するには更に莫大な情報が必要ですよ。
0221nobodyさん
2005/05/28(土) 17:11:12ID:???じゃ、とりあえず「何を必要とするか」を出していけば
自ずとまとまってくるんじゃないか？一人一つでも出せれば。
俺は「見づらいサイトを排除して欲しいor見やすさ重視」
色のカラーバランスや文字組みの構成を認識して
それによって順位が変動する検索表示だと良いかなって思ってる。
例えば、マイナーワードで古くからあるサイトとか
いくら上位表示されていても背景と文字のバランスがバラバラで
見づらいから、どこに情報があるかわからない。余計に探すのに
時間がかかってしまう。
0222nobodyさん
2005/05/30(月) 11:04:58ID:???導くよりは、gooラボで研究されて、下手すると実運用してないくせに
特許だけとられてがんじがらめにされてるようなアイデアを出しそうだ。
gooラボでのテーマや成果をみていると。
検索エンジンへの欲求は情報の鮮度と、アクセシビリティにつきると思う。
あとはパーソナライズね。鮮度を保証するために、機械で膨大なサンプルを網羅して
後は統計で個人ごとに異なる要求に応えるか、検索とは違うけどallAboutみたいに
権威者にディレクトリを維持させるというアプローチ自体は合理的な手段の
２極を極めていると思う。
強いて回避する方法があるとしたら、「何をソースに」「どういう重み付けをするか」
というロジックで差別化すること。前述の２極を意識するとSNSとかblogとか
すでに人が集めてディレクトリが出来ている情報から何を抽出するかだよね。
それは他の企業も取り組んでいる（需要が見越せる）けど完全な形が出ていない所。
一般的に「一次情報はどこか」に比重が置かれることが多いけど、
「次にくる」とか「以前きた」とか、情報が作り出したルートを図式化みたく
マクロ的な結論をどう出すか、というのはいくらでも研究の余地はあるらしい。
成功例が少ないけどｗ
0223nobodyさん
2005/06/01(水) 06:19:53ID:???すまん、また書くのが遅れた。
gooラボを出しているが、あれ自体が物凄く重くないか？
また、何かソフト入れなきゃ駄目だったろ。確か。
だから色物扱いされて、反響無かったと思うが。
あと、君は俺の1案に対してつっこみを入れているだけで
「自分が欲しい意見」というのを出していない気がするが。
単に既存のシステムを分析して批評しているだけで
開発のアイディアを出していない。
そういうの出さないと。
0224nobodyさん
2005/06/01(水) 06:22:44ID:???この板の特質上、あくまで個人のプログラマーが
検索エンジンを作る上で、どのような検索エンジンだと
反響があるのだろうか？使いやすいだろうか？
と言うことを話し合うスレだと思うが。
いわば開発アイディアの検証だ。
そうじゃなくて222のような企業的思考で難しいこと言ってても
誰も「検索エンジン作ろう」と思わないって。
0225nobodyさん
2005/06/01(水) 15:23:03ID:???どうせ自覚も無いんだろ。口だけなんだから素直にバイトでも探してろ。
0227nobodyさん
2005/06/01(水) 18:56:17ID:???0229nobodyさん
2005/06/01(水) 19:04:14ID:???0231nobodyさん
2005/06/03(金) 19:34:02ID:vAHoocN8つー訳で、とりあえずドンドンと意見を出して行こうぜ。素人考えだろうが
何だろうが、まずは案を挙げまくって、それから議論という事だ。
非アダルトの情報を欲して検索をかけても、アダルトの類のページが
検索にかかる割合が高い。オプション指定するだけで、キレイに検索から
アダルトを排除できる仕組みが欲しい。
逆に、アダルト検索用のオプションも欲しい。アダルトを検索にかけようと
思っても、検索にかかるアダルトサイトは殆どがクリックで目当ての小銭稼ぎ
サイトなのが現状だ。
検索の精度や抽出されるページの量を落とさずに、これらを実現できれば
嬉しい。ぬるぽ。
0232nobodyさん
NGNGそこにない差分データはとりあえず非アダルトということに
0233nobodyさん
2005/06/05(日) 09:34:25ID:???とりあえず、俺はこの板に来たらなんか書くようにするから
他のみんなもどんどん意見を出して欲しいと思う。
んで、231の方法はmetaとかページのテキストから
アダルト関連のワードを拾うことで、アダルトサイトを
ほぼ完全排除出来ないかな？
最近のサイト制作の傾向として、1つの検索エンジンのみを
対象とした作り方はしないし、どうせYAHOO!やGoogle相手
なんだから、アダルトサイトがアダルト関連のキーワードを
はずせないし。なら、それらのキーワードを禁止指定すると
割と容易にアダルトサイトは排除出来ると思う。
0234nobodyさん
2005/06/05(日) 09:38:35ID:???それでいて大手検索エンジンで使われていないのだが
ランダム検索と、ソート機能ってあれば面白いと思う。
ランダム検索機能はテキストボックスにキーワードを入れて
「ランダム検索」のボタンをクリックすると、ランダムな
検索結果を表示する。これで下位に埋もれるサイトを
見られる可能性が増える。
次にソート機能は主にタイトルからソートをかける機能。
タイトル以外にも登録日・更新日を昇順・降順出来ることで
タイムリーな記事やサイトを表示させることが出来る。
上記の2機能はディレクトリ型の検索エンジンでも
割と容易に出来る気がする。けど、あまり見かけない。
0235nobodyさん
2005/06/05(日) 10:29:47ID:???まぁ、言っていることは妥当だと思われ
ただ、問題なのはどうやってアダルト関連のキーワードを判断するかだね
人手で作ってちゃ馬鹿だし
ベイジアンフィルタなんてのもあるから
その応用なんだろうけど
0236nobodyさん
2005/06/05(日) 16:15:38ID:???アダルト関連のワードってめちゃくちゃ細かいのも排除するの？
例えば、AV女優の名前とか。
とりあえず、「アダルト」「風俗」「AV」とかそういうおなじみの
ワードを省くだけで良いと思う。管理者が入力するタイプでも。
0237nobodyさん
2005/06/05(日) 22:44:18ID:???っていうか、どこまでをアダルトと認識するかによって異なる
例えば、アダルト：アダルトチルドレンなんて様に
特定のキーワードを含む=アダルトサイト
ってわけにはいかないからね
子供向けのフィルタを作る or 特定の分野に特化する
なら話は違ってくるけどさ
ベイジアンフィルタ=めちゃめちゃ細かいものを排除する
って言うわけではないってことね
0238nobodyさん
2005/06/06(月) 00:20:28ID:???そう言われればそうだよね。AVでもAV機器ってあるしな・・。
とりあえず、+で含まれるワードはどうだろ？
「ホームページ」「制作」でホームページ制作をフィルタするように
「アダルト」+「AV女優」とか加えてフィルタにするとか。
でも、なかなか難しそうだな。なんか騙しリンクとか
そういうのを完全排除出来る、フィルタリング対応検索エンジン
があれば、割と受けると思うんだけどな。
0239nobodyさん
2005/06/06(月) 12:46:54ID:???まぁ、その辺を考えるんなら
既存のフィルタリング技術とかアプリケーションを
調べてみても面白いかも
有害コンテンツを子供に閲覧させないためのフィルタとかね
色んなサービスなんかあるし
0240nobodyさん
2005/06/06(月) 16:24:02ID:???0241nobodyさん
2005/06/07(火) 22:37:09ID:???超高機能なサーチエンジンを作りたいんだけど
http://pc8.2ch.net/test/read.cgi/tech/1048336478/
0242nobodyさん
2005/06/13(月) 04:28:42ID:???>>223-224
企業的視点であり、自分の意見の欲しい形を言ってないとの事だが、
そうではなく企業ですでに目をつけてるものをやっても仕方ない
と思う反面で、企業体が研究している分野を否定して需要がない所を
掘り込むのもどうかと思う（企業的規模で成功するためにじゃなく、
使ってもらってフィードバックしてもらうってレベルでね）から、
注目されてる一例を出しただけであって、深いとか難しいと思わなかった。
企業的視点と読み取るのは、単語に騙されやすいのではないかと。
で、そこから「何をソースに」「どういう重み付けをするか」 について特色を
出したものが欲しいなってのが俺の意見なわけで、述べてないと読み取るのは
最初から述べて欲しい意見を想定していて、プロテクトしちゃってるから
読み取れないんじゃないだろうか。まあ、俺も>1が01年のスレで一気に具体案まで
提案するのはどうかと、大ざっぱな概念から振ったのは不親切だったと思う。
>231-233で、まずはブレストって事で決着しているが、とりあえずなにやら
へんな読み取られ方してると思ったので訂正しておきたい。
アダルト情報の排除か、それを極めると逆にアダルトの検索エンジンのコア
としても機能しそうだね。ただ、運用したらお役所に睨まれそうだがｗ
アダルト、アドウェアみたいなデータからNOTで弾くために、エロボットは
必要なのかも知れないな。
0244nobodyさん
2005/06/15(水) 03:24:42ID:???このスレのタイトルを見たとき俺は、、、、、、、
検索ニンジンをつくりたい
かと思ってしまったんだ。すまない。
0245nobodyさん
2005/06/15(水) 03:46:17ID:???0246nobodyさん
2005/06/15(水) 06:28:52ID:???0248nobodyさん
2005/06/15(水) 19:00:23ID:SDEIoMgZエクセルのCSVを多様して検索システムをつくった
いまんとこ1000件データをいれてためしたが
結構早く検索する・・どれぐらいたえれるのだろうか・・・・
データベース俺のまえにたちはだかってやがる・・・
ショップサイトも検索サイトもすべてCSVで処理してる俺は首すんぜんだろうか・・・
0249nobodyさん
2005/06/15(水) 22:08:01ID:???・評価機能
・指定日時が過ぎると表示されない
・ポイントに応じて表示順位が変わる（ランキング？）
>>248
DBを使ったら恐ろしく多大なデータを処理出来るよ。
PHPとMySQLが軽くて最高だと思う。
ただし、レスポンスの問題で言えば、やはりサーバと回線の
問題によるから、それらの充実が一番だとは思う。
0250nobodyさん
2006/11/11(土) 21:19:03ID:???○_○
( ・(ｪ)・) ＜ 天然記念スレをまもれ！
/つ¶つ ¶
／￣￣￣￣￣￣ヽ ／／
人人 / ● ●、 ｻﾞﾊﾞｧ!!
／ 〇 ▼ l 人人人
／ ＝ , ､_ _人_ﾉヾ
人人 ノ 人人
人人人 人人
0251nobodyさん
2006/12/01(金) 22:51:13ID:???このスレに出てるほとんどのアイディアが実現できる気がする。
0252たま
2007/02/02(金) 10:45:34ID:QBCmJWsF検索エンジンのPHPスクリプトを配布しているところを探しています。
どなたかご存じでしょうか？？
宜しくお願い致します。
0253nobodyさん
2007/02/02(金) 11:27:23ID:???で検索しろ
0254 ◆hb//x7qyug
2007/02/02(金) 12:12:18ID:DuFcC87Dおもしろそう。協力しようか？
0256nobodyさん
2007/02/07(水) 08:59:32ID:CGn0u8gTgoogleライクに
"unko unko" -hogehoge (aaaa or "cc cc")
みたいなの
0257nobodyさん
2007/02/08(木) 09:24:06ID:???...めんどくさいけどね。でもPHPでパーサを書く場合でも.yの書き方は参考になる。
RubyならRacc
0258nobodyさん
2007/02/13(火) 02:21:01ID:???お行儀の悪い検索エンジンを使いたいです。
0259nobodyさん
2007/02/20(火) 18:20:31ID:???フィルターとかあれば良いんですけど・・
0260nobodyさん
2007/10/31(水) 21:21:23ID:nkFoGGXY0261nobodyさん
2007/11/07(水) 06:37:03ID:???0262ギニア3世
2007/11/16(金) 21:23:24ID:idEdN7T0http://www.quintura.com/
0263nobodyさん
2008/06/08(日) 13:47:25ID:oe9fgjbihttp://21news.cocolog-nifty.com/blog/2008/05/post_d828.html
連載：検索エンジンを作る｜gihyo.jp … 技術評論社
http://gihyo.jp/dev/serial/01/make-findspot
0264nobodyさん
2008/06/24(火) 02:01:34ID:iHrl1LSI0265nobodyさん
2008/06/27(金) 00:50:18ID:gBJjjQVQ携帯サイトおもちの方必見！
携帯で登録できるよ
http://search-k.net/jcom/
■ このスレッドは過去ログ倉庫に格納されています