Namazu全文検索システム
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠お腹いっぱい。
2001/06/14(木) 09:17ID:???http://www.namazu.org/
日本語全文検索エンジンソフトウェアのリスト
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/other-system.html
前スレ http://tako.2ch.net/test/read.cgi?bbs=perl&key=981352718
0053名無しさん＠お腹いっぱい。
02/01/12 04:40ID:???0054名無しさん＠お腹いっぱい。
02/01/13 16:11ID:???0055名無しさん＠お腹いっぱい。
02/01/13 19:32ID:???再利用というか、もっかい盛り上がることが出来ないスレなんですか？(笑)
0056名無しさん＠お腹いっぱい。
02/01/25 06:48ID:YyTiWZ/90057名無しさん＠お腹いっぱい。
02/02/18 08:00ID:TWCf5+1d0058１００１ Over 1000 Thread
02/02/18 10:21ID:Qb17d1xdもう書けないので、新しいスレッドを立ててくださいです。。。
0059名無しさん＠お腹いっぱい。
02/02/19 07:42ID:DggBq+7H0060名無しさん＠お腹いっぱい。
02/02/20 22:28ID:???全文検索エンジンNamazu @ Unix板
http://pc.2ch.net/test/read.cgi/unix/1009715036/l50
0061nobodyさん
02/03/11 21:08ID:Jt12j7IU変に文節で区切らずに、googleみたいに普通に検索してくれたら
それでいいのに。。
0063nobodyさん
02/03/12 07:59ID:qMnzd5b/これのこと?
>日本語がでたらめにわかち書きされてしまう
>{ [ 最: 1 ] [ 新: 0 ] [ 情: 0 ] [ 報: 0 ] :: 0 } のように、
>でたらめにわかち書きされることがあります。
>これは、そもそも最新情報という言葉が検索対象に含まれないことを意味します。
>検索はあきらめましょう。
それとも、インデックス作るときの分かち書きをしないでほしい、ってこと?
それって実現できるのか?
0064nobodyさん
02/03/18 17:35ID:???0065nobodyさん
02/03/19 11:29ID:ulLvfL7+日本語は解析していないように見えるけど…。
英語はスペースでわけるだけだから楽だね。
それにしてもgoogleはスペルミスの修正判断も出してくれたりすごい。
つーか20億ページを0.1秒で検索できるのが単純にすごいと思うのだが。
ローカルでほしい、、
0066nobodyさん
02/03/19 12:54ID:TPtrOTqRgoogleも分かち書きしてるらしい、という実験結果がある。
検索エンジンのしくみ教えます
http://www.google.com/search?hl=ja&ie=Shift_JIS&oe=Shift_JIS&q=cache%3AALmw0POy8V4C%3Awww.mars.sphere.ne.jp%2Fengine%2Fchap_g1.htm+site%3Awww.mars.sphere.ne.jphl%3Dja+Google&lr=lang_ja
なんか 403 forbidden になってるんでgoogleのキャッシュで見てね。
0067nobodyさん
02/03/19 14:31ID:???ほんとだ。分かち書きしてる、、
うむ、googleはちゃんと各言語ごとにチューンしてるんですね。
0068nobodyさん
02/03/19 15:32ID:TPtrOTqRgoogle並みのことはできるってことだよね
(もちろん、PageRank とかは抜きにして)。
いつも kakasi だけど、Chasen を使ってみようかなあ・・・。
0069nobodyさん
02/03/19 15:52ID:???0070nobodyさん
02/03/19 20:25ID:???googleの肝は結果の表示順序。(pagerankもそれを支える情報の一つ）
なので、namazuに少し手を入れたぐらいではgoogle並にはならないよ。
ヒット数が少ない場合、関係ないけど。
0071nobodyさん
02/03/19 20:38ID:???その点は激しく同意。
ただ、分かち書きの精度を上げることで、
>>61 のやりたいことは実現できるんじゃないかな、って思った。
0072nobodyさん
02/04/24 13:48ID:???0073ato
02/05/09 14:31ID:8gc3nIf40074nobodyさん
02/05/10 00:55ID:???0075nobodyさん
02/05/10 02:55ID:???いまさらだが、NamazuへのPageRankの実装は、この論文が有名。
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/pagerank.html
0077nobodyさん
02/05/10 20:41ID:???￣￣￣￣￣∨￣￣￣ (´´
∧∧ ） (´⌒(´
⊂（ﾟДﾟ⊂⌒｀つ≡≡≡(´⌒;;;≡≡≡
￣￣ (´⌒(´⌒;;
ｽﾞｻﾞｰｰｰｰｰｯ
0078nobodyさん
02/05/24 03:19ID:???0079nobodyさん
02/05/27 19:51ID:LrpMVRitWWW検索エンジンサイト
http://pc.2ch.net/test/read.cgi/esite/973436559/l50
0080nobodyさん
02/06/06 04:44ID:jW1FwXu20081nobodyさん
02/06/09 00:21ID:MvwsaEnIhttp://freshmeat.net/projects/snatcher/
0082山拓変態問題
02/06/20 09:30ID:???0083nobodyさん
02/06/20 09:39ID:updula6Fわからん、俺がアフォなだけか？
0084nobodyさん
02/06/20 12:41ID:0pQ6ektuID3タグでも検索するのか？
そういうのは ふつー DB 使うだろ。
008682=85
02/06/20 15:34ID:???スレ違いスマソ。
0087nobodyさん
02/06/25 01:01ID:cgKxt6dSなるほど、mp3 の中に埋め込まれたテキストも「文書」として扱い、
検索対象としたい、ってわけね。全然変じゃない。むしろ面白い。
やってることは google のイメージ検索みたいな感じかな。
perl でサクッと書けそうな雰囲気。
ぜひトライしてみて。
あと、Web プログラミングとは関係ないけど、
Namazu に関係あればいいと思うよ。
0088nobodyさん
02/06/25 02:46ID:???むちゃくちゃ関係あるじゃん。
> やってることは google のイメージ検索みたいな感じかな。
イメージ検索は外部から関連性を持ってくるのでちと違うような。
内部のID3だけだったらPDF検索くらいに対応するだろう。
ぜんぜんNamazuじゃなくても良さそうだけど、他と串刺し検索するなら
やっぱり便利かも。
0089nobodyさん
02/08/12 22:58ID:???0090nobodyさん
02/09/02 23:28ID:???0091nobodyさん
02/09/20 08:19ID:???0092nobody
02/09/21 15:05ID:???検索結果で表示されるファイルの先頭部分のサイズを変更できますか？
やりかたを教えて下さい。
0093nobodyさん
02/09/25 08:37ID:3VOnIdJAでURLテキスト-iで、ディレクトリ作成-x
しながらページ拾ってくると、
稀にディレクトリ作成(www.aaa.xxx)されなくて
関係ないディレクトリ(www.bbb.xxx)にページを
格納してしまいます。
このままindex作るとURLリンクが関係ないところに。
どうしてだろう。困った。
0094nobodyさん
02/09/27 20:30ID:7S/gcFrV0095nobodyさん
02/09/28 02:50ID:gf1ROtiYﾋﾟｭｰ（ ‘ д‘）
＝〔~∪￣￣〕
＝◎−−◎
0096名無しさん＠お腹いっぱい。
02/10/07 17:04ID:ucR8g7pl(' д ‘）ﾋﾟｭｰ
〔~∪￣￣〕＝
◎−−◎＝
づかれたゾイ
0097名無しさん＠お腹いっぱい。
02/10/07 17:05ID:ucR8g7pl0098nobodyさん
02/11/02 15:20ID:Jwe6TBuD0099Windows における namazu w/chasen
02/11/03 10:47ID:rQsphwgxhttp://www.namazu.org/ml/namazu-win32-users-ja/msg00671.html
http://www.namazu.org/ml/namazu-win32-users-ja/msg00672.html
http://www.namazu.org/ml/namazu-win32-users-ja/msg00692.html
を見ると、2001/05 時点で chasen を使ったインデックス作成は
cygwin 環境で行うことができるようですが、
現在も chasen を使おうとすると cygwin 上で行うのが妥当でしょうか？
0100Windows における namazu w/chasen
02/11/03 11:17ID:???Chasen 2.0.2 は cygwin 上で問題なくコンパイルできました。
0101Windows における namazu w/chasen
02/11/03 11:33ID:???cygwin のデフォルトの perl 関連のパッケージでは File::MMagic はインストールされないので、
CPAN http://search.cpan.org/dist/File-MMagic/ からダウンロードしてきて
あらかじめ (configure の前に) インストールしておく必要があります。
0102Windows における namazu w/chasen
02/11/03 14:10ID:rQsphwgxcygwin のコアDLLのバージョンは 1.3.14-1 です。
0103nobodyさん
02/11/03 23:09ID:sdt4YScv全部cygwinでやる方法以外無いのでは？
そもそもkakasiを使う事が推奨されていて。
茶筅は結構イレギュラーな方法なわけだし。
（運用上結構問題がある）
0104nobodyさん
02/12/03 00:32ID:???0105nobodyさん
02/12/26 00:21ID:DUegdvZH形式自体はレス1つが1行になっているだけなんだけど、<a name="hoge">をつけるのもなんか違う気がするし。
ファイル名と行数だけ教えてくればそれでよいんですが。
Namazuでやっているようなこと、ChaSenで分かち書きしてインデックス作ってcgiで検索っていうのも作りかけたけど、
車輪の再発明になりそうで中断してる。
0106nobodyさん
02/12/26 00:41ID:M1+zinp+dat からそのままインデックスを作りたいってこと?
mknmz 用のフィルタを書けばいいだけだよね。
perl だし結構簡単そうだね。
0107nobodyさん
02/12/26 01:19ID:DUegdvZHそのとおりっす。
各行の先頭に<a name="スレ番号"></a>入れて、理由は不明ですが、先頭行に適当に<html>とか入れてあげて、
mknmz --html-split -a hogohoge.dat
でインデックスは作れたし、検索もできるのは分かるのですが、
mknmzのソースのprocess_file辺りを見ると、コメントに、FIXME: Very complicated.とあるくらいなんで、めんどいなと。
html向けには分割して処理してるみたいですし。
誰か同じようなこと考えていないかなと。
0108nobodyさん
02/12/26 01:48ID:M1+zinp+read.cgi が出力する html をインデックスするよりも、
dat から直にインデックスする方がきっと速い。
いちいち dat から html 作らないから、不要なファイルを作らなくてもよい。
html として出力するのは 2ch ビューアとか、read.cgi に一任できる。
利点はこのあたりかな。みみずんとか喜びそうだよね。
結局、mknmz の仕様に則ったフィルタを作ればいい。
html.pl とか参考にして作ってみたら?
http://cvs.namazu.org/namazu/filter/html.pl?rev=1.34&content-type=text/vnd.viewcvs-markup
もし実現できたら、cvs にある scheme/http.pl と組み合わせて、
2ch.net の dat を直接インデックスできるかな。
あ、今 2ch.net は dat 直読みできないんだっけ? だめか。
0109nobodyさん
02/12/26 02:05ID:DUegdvZHフィルタ自体はHTMLのでも十分なんですよ。
--html-splitなしでは、mknmzってファイル単位でしかインデックス作らないじゃないですか。
datってスレ毎で、全レスが入っているから、スレごとにしか検索できないことになってマズーなのです。
p2 ( http://pc.2ch.net/test/read.cgi/mac/1034199997/ )のdatを2次利用したいなと思っていろいろ試してます。
>>107 に書いたように、mknmzのprocess_fileあたりの--html-split処理部を書き換えてみてます。
0110nobodyさん
03/01/02 18:30ID:cP1MLYPA--html-split的なファイル分割を実現している人がいます。
本家には全く取り込まれていませんが…
Emacsのinfoファイルの分割(X-ml-name: namazu-devel-ja X-mail-count: 02059 )
http://www.namazu.org/ml/namazu-devel-ja/msg02063.html
PDFファイルをページごとに分割(X-ml-name: namazu-devel-ja X-mail-count: 01951)
http://www.namazu.org/ml/namazu-devel-ja/msg01950.html
つーかどちらも実装したのは僕ですが…
実現は単純だと思います。
行ごとにsplitするだけでとりあえずは実装できると思います。
見やすいようにフィールド情報を与えるためにはちょっと工夫がいるかもしれません。
ただフィールド情報が無くても十分有用だと思います。
そのページだけじゃわかりづらいと思うのでわからなかったら質問してください。
navi2chやら他の2ちゃんねるブラウザと連携すれば便利かもしれません。
ある特定のスレだけを検索対象にしてwebに公開しても便利かもしれません。
0111nobodyさん
03/01/03 09:06ID:???すべてのページについて、php4とpostgresを使っていて、
URLは http://domain.com/foo/?category=bar の形式で作ってるんですが
（fooとbarはいろいろ変わる＆postgresでページの階層構造を管理してる）
これにNamazuを導入するには、どうすればいいんでしょうか・・・？
0112nobodyさん
03/01/03 09:29ID:v/h8n2uJ0113111
03/01/03 18:29ID:lPX3I1sa0116111
03/01/04 00:23ID:U6dtWDEb・・・いきたいな
0117111
03/01/04 19:17ID:BatkqzbV「php namazu インデクサ」とじゃ
「php namazu シェルスクリプト」とかで検索してるんだけど、
いまいち該当しない。
検索のヒント、ください。
0118111
03/01/11 17:11ID:CeP+V+mb0119nobodyさん
03/01/11 18:22ID:8y79ZXZ4ひらがなとかカタカナのもうめちゃくちゃな弱ささえ克服できればなぁ。
kakasiにひらがな単語の辞書登録さえあれば…。
もともと、そーゆープログラムではないから
ＡＱに採用されることないけど。
0120山崎渉
03/01/15 13:33ID:???0121nobodyさん
03/01/17 16:56ID:TsHzDgv8茶筅にしる!
0122nobodyさん
03/01/18 02:26ID:???サマリは直接生成。
0123nobodyさん
03/01/18 07:01ID:0IdKnMy10125124
03/01/18 15:07ID:???CGIを使えるサーバーを借りたら、解決だった。
0127nobodyさん
03/01/18 22:45ID:KC3+f7J6自分的にもそれは必須の機能だと思うんだけどなぁ。
頭の部分だけ静的に切り出したサマリーでずらずら検索で引っ掛かってきてもあんまサマリーの意味ない。
メーリングリストみたいにタイトルが内容の要約になってる、とかならいいんだけど。
0128nobodyさん
03/01/21 15:04ID:2m91wCEmNamazu 2.0.12 for Win32をWin98で使用しています。
mknmzを実行すると、下記のエラーが出てしまいます、、、
Can't locate File/MMagic.pm in @INC (@INC contains: . C:/Perl/lib C:/Perl/site/
lib .) at C:\USR\LOCAL\NAMAZU\BIN/mknmz line 34.
BEGIN failed--compilation aborted at C:namazu\bin/mknmz line 34.
お分かりになる方、いらっしゃっいましたら
ご教授ください。お願いします！
0129nobodyさん
03/01/21 23:04ID:???0130nobodyさん
03/01/22 00:18ID:???MMagicのインストールを行おうとすると、エラーがでるので確かにインストール
されていないようです。
namazuのパッケージに含まれてるppmは、500番台と600番台の２つなのですが
私のActivePerlのビルド番号を確認すると、804となっています、、、。
これが原因なんでしょうか？
0131nobodyさん
03/01/22 22:49ID:tlaGPNPQ0132nobodyさん
03/01/22 22:55ID:0SY2SNochttp://pc1.moo.jp
パソコン・インターネットの仕組み、パソコン自作・サーバー構築法について、動画や静止画を豊富に取り入れて、初心者向けに基礎から分かりやすく解説しています。
ガンガン、アクセスしてください！！
0133nobodyさん
03/01/22 23:06ID:DuSjMjDYhttp://banana.fruitmail.net/cgi/introduce_jump2.cgi?1363289
0134nobodyさん
03/01/23 09:19ID:XTkiyiclやっぱりkakasiより検索精度あがりますか？
とくにひらがな単語やカタカナ単語で。
0135nobodyさん
03/01/24 13:46ID:DnlSMTjH1ディレクトリで1000ファイルオーバーとかって、インデックス
作るのに問題ないっぽい？
なんか、毎日自動でインデックス作ってるんだけど、ちゃんと
インデックス作れてない(検索できない)場合が時々あるのよ。手動で
作ってやるとちゃんと動くところがまた憎らしい。
0136nobodyさん
03/01/24 15:43ID:9aIuMK5Xindex.htmが格納されて困るんだけどなんでだろう。
ブラウザ動かしながらやるとミスするのかなぁ。
win2k
0137nobodyさん
03/01/25 15:38ID:x6YUG/OMperl版でインデックス作らないとダメなのでしょうか？
そのままのインデックスでpnamazu.cgiでとりこぼしが減るのでしょうか？
0138nobodyさん
03/02/05 04:47ID:vQpd3y9f0139nobodyさん
03/02/05 06:56ID:CehyN38Wいいね〜 これ♪
0140nobodyさん
03/02/05 09:04ID:LQrwCDVWナマズの派生で、カバヤキっていうのでたけど使ってる人いる？
0141nobodyさん
03/02/05 09:11ID:JiOCwoo30142nobodyさん
03/02/05 10:12ID:???0144nobodyさん
03/02/07 03:32ID:/4XUF2iq作成した全文検索ってどのくらいパフォーマンスが変わってくるかなー
検索対象レコード：１０００、検索対象フィールド：３
各フィールド６０，０００文字ぐらいで考えてるんだけど、
MS-Access + ASP じゃ無理あるかな・・・
２、３秒で検索結果がでてくればいいのですが・・・
インデックスの作成自体、最近気づいた愚か者ですが、
よろしくお願いいたします m(_ _)m
0145nobodyさん
03/02/07 06:28ID:KeFGYCTZ？？？？？？？？？
0146nobodyさん
03/03/07 18:19ID:+bpjK8Vp0147nobodyさん
03/03/08 13:01ID:???http://www.akira.ne.jp/index.htm
0148nobodyさん
03/03/08 16:11ID:6pWNtujSどちらを使うかはどうやって決まるのでしょうか？
0149山崎渉
03/03/13 17:05ID:???0150nobodyさん
03/03/13 20:02ID:???0151nobody
03/03/28 00:40ID:???0152山崎渉
03/04/17 12:25ID:???0153山崎渉
03/04/20 06:08ID:???（ ＾＾ ）＜ ぬるぽ（＾＾）
■ このスレッドは過去ログ倉庫に格納されています