Namazu全文検索システム
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠お腹いっぱい。
2001/06/14(木) 09:17ID:???http://www.namazu.org/
日本語全文検索エンジンソフトウェアのリスト
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/other-system.html
前スレ http://tako.2ch.net/test/read.cgi?bbs=perl&key=981352718
0071nobodyさん
02/03/19 20:38ID:???その点は激しく同意。
ただ、分かち書きの精度を上げることで、
>>61 のやりたいことは実現できるんじゃないかな、って思った。
0072nobodyさん
02/04/24 13:48ID:???0073ato
02/05/09 14:31ID:8gc3nIf40074nobodyさん
02/05/10 00:55ID:???0075nobodyさん
02/05/10 02:55ID:???いまさらだが、NamazuへのPageRankの実装は、この論文が有名。
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/pagerank.html
0077nobodyさん
02/05/10 20:41ID:???￣￣￣￣￣∨￣￣￣ (´´
∧∧ ） (´⌒(´
⊂（ﾟДﾟ⊂⌒｀つ≡≡≡(´⌒;;;≡≡≡
￣￣ (´⌒(´⌒;;
ｽﾞｻﾞｰｰｰｰｰｯ
0078nobodyさん
02/05/24 03:19ID:???0079nobodyさん
02/05/27 19:51ID:LrpMVRitWWW検索エンジンサイト
http://pc.2ch.net/test/read.cgi/esite/973436559/l50
0080nobodyさん
02/06/06 04:44ID:jW1FwXu20081nobodyさん
02/06/09 00:21ID:MvwsaEnIhttp://freshmeat.net/projects/snatcher/
0082山拓変態問題
02/06/20 09:30ID:???0083nobodyさん
02/06/20 09:39ID:updula6Fわからん、俺がアフォなだけか？
0084nobodyさん
02/06/20 12:41ID:0pQ6ektuID3タグでも検索するのか？
そういうのは ふつー DB 使うだろ。
008682=85
02/06/20 15:34ID:???スレ違いスマソ。
0087nobodyさん
02/06/25 01:01ID:cgKxt6dSなるほど、mp3 の中に埋め込まれたテキストも「文書」として扱い、
検索対象としたい、ってわけね。全然変じゃない。むしろ面白い。
やってることは google のイメージ検索みたいな感じかな。
perl でサクッと書けそうな雰囲気。
ぜひトライしてみて。
あと、Web プログラミングとは関係ないけど、
Namazu に関係あればいいと思うよ。
0088nobodyさん
02/06/25 02:46ID:???むちゃくちゃ関係あるじゃん。
> やってることは google のイメージ検索みたいな感じかな。
イメージ検索は外部から関連性を持ってくるのでちと違うような。
内部のID3だけだったらPDF検索くらいに対応するだろう。
ぜんぜんNamazuじゃなくても良さそうだけど、他と串刺し検索するなら
やっぱり便利かも。
0089nobodyさん
02/08/12 22:58ID:???0090nobodyさん
02/09/02 23:28ID:???0091nobodyさん
02/09/20 08:19ID:???0092nobody
02/09/21 15:05ID:???検索結果で表示されるファイルの先頭部分のサイズを変更できますか？
やりかたを教えて下さい。
0093nobodyさん
02/09/25 08:37ID:3VOnIdJAでURLテキスト-iで、ディレクトリ作成-x
しながらページ拾ってくると、
稀にディレクトリ作成(www.aaa.xxx)されなくて
関係ないディレクトリ(www.bbb.xxx)にページを
格納してしまいます。
このままindex作るとURLリンクが関係ないところに。
どうしてだろう。困った。
0094nobodyさん
02/09/27 20:30ID:7S/gcFrV0095nobodyさん
02/09/28 02:50ID:gf1ROtiYﾋﾟｭｰ（ ‘ д‘）
＝〔~∪￣￣〕
＝◎−−◎
0096名無しさん＠お腹いっぱい。
02/10/07 17:04ID:ucR8g7pl(' д ‘）ﾋﾟｭｰ
〔~∪￣￣〕＝
◎−−◎＝
づかれたゾイ
0097名無しさん＠お腹いっぱい。
02/10/07 17:05ID:ucR8g7pl0098nobodyさん
02/11/02 15:20ID:Jwe6TBuD0099Windows における namazu w/chasen
02/11/03 10:47ID:rQsphwgxhttp://www.namazu.org/ml/namazu-win32-users-ja/msg00671.html
http://www.namazu.org/ml/namazu-win32-users-ja/msg00672.html
http://www.namazu.org/ml/namazu-win32-users-ja/msg00692.html
を見ると、2001/05 時点で chasen を使ったインデックス作成は
cygwin 環境で行うことができるようですが、
現在も chasen を使おうとすると cygwin 上で行うのが妥当でしょうか？
0100Windows における namazu w/chasen
02/11/03 11:17ID:???Chasen 2.0.2 は cygwin 上で問題なくコンパイルできました。
0101Windows における namazu w/chasen
02/11/03 11:33ID:???cygwin のデフォルトの perl 関連のパッケージでは File::MMagic はインストールされないので、
CPAN http://search.cpan.org/dist/File-MMagic/ からダウンロードしてきて
あらかじめ (configure の前に) インストールしておく必要があります。
0102Windows における namazu w/chasen
02/11/03 14:10ID:rQsphwgxcygwin のコアDLLのバージョンは 1.3.14-1 です。
0103nobodyさん
02/11/03 23:09ID:sdt4YScv全部cygwinでやる方法以外無いのでは？
そもそもkakasiを使う事が推奨されていて。
茶筅は結構イレギュラーな方法なわけだし。
（運用上結構問題がある）
0104nobodyさん
02/12/03 00:32ID:???0105nobodyさん
02/12/26 00:21ID:DUegdvZH形式自体はレス1つが1行になっているだけなんだけど、<a name="hoge">をつけるのもなんか違う気がするし。
ファイル名と行数だけ教えてくればそれでよいんですが。
Namazuでやっているようなこと、ChaSenで分かち書きしてインデックス作ってcgiで検索っていうのも作りかけたけど、
車輪の再発明になりそうで中断してる。
0106nobodyさん
02/12/26 00:41ID:M1+zinp+dat からそのままインデックスを作りたいってこと?
mknmz 用のフィルタを書けばいいだけだよね。
perl だし結構簡単そうだね。
0107nobodyさん
02/12/26 01:19ID:DUegdvZHそのとおりっす。
各行の先頭に<a name="スレ番号"></a>入れて、理由は不明ですが、先頭行に適当に<html>とか入れてあげて、
mknmz --html-split -a hogohoge.dat
でインデックスは作れたし、検索もできるのは分かるのですが、
mknmzのソースのprocess_file辺りを見ると、コメントに、FIXME: Very complicated.とあるくらいなんで、めんどいなと。
html向けには分割して処理してるみたいですし。
誰か同じようなこと考えていないかなと。
0108nobodyさん
02/12/26 01:48ID:M1+zinp+read.cgi が出力する html をインデックスするよりも、
dat から直にインデックスする方がきっと速い。
いちいち dat から html 作らないから、不要なファイルを作らなくてもよい。
html として出力するのは 2ch ビューアとか、read.cgi に一任できる。
利点はこのあたりかな。みみずんとか喜びそうだよね。
結局、mknmz の仕様に則ったフィルタを作ればいい。
html.pl とか参考にして作ってみたら?
http://cvs.namazu.org/namazu/filter/html.pl?rev=1.34&content-type=text/vnd.viewcvs-markup
もし実現できたら、cvs にある scheme/http.pl と組み合わせて、
2ch.net の dat を直接インデックスできるかな。
あ、今 2ch.net は dat 直読みできないんだっけ? だめか。
0109nobodyさん
02/12/26 02:05ID:DUegdvZHフィルタ自体はHTMLのでも十分なんですよ。
--html-splitなしでは、mknmzってファイル単位でしかインデックス作らないじゃないですか。
datってスレ毎で、全レスが入っているから、スレごとにしか検索できないことになってマズーなのです。
p2 ( http://pc.2ch.net/test/read.cgi/mac/1034199997/ )のdatを2次利用したいなと思っていろいろ試してます。
>>107 に書いたように、mknmzのprocess_fileあたりの--html-split処理部を書き換えてみてます。
0110nobodyさん
03/01/02 18:30ID:cP1MLYPA--html-split的なファイル分割を実現している人がいます。
本家には全く取り込まれていませんが…
Emacsのinfoファイルの分割(X-ml-name: namazu-devel-ja X-mail-count: 02059 )
http://www.namazu.org/ml/namazu-devel-ja/msg02063.html
PDFファイルをページごとに分割(X-ml-name: namazu-devel-ja X-mail-count: 01951)
http://www.namazu.org/ml/namazu-devel-ja/msg01950.html
つーかどちらも実装したのは僕ですが…
実現は単純だと思います。
行ごとにsplitするだけでとりあえずは実装できると思います。
見やすいようにフィールド情報を与えるためにはちょっと工夫がいるかもしれません。
ただフィールド情報が無くても十分有用だと思います。
そのページだけじゃわかりづらいと思うのでわからなかったら質問してください。
navi2chやら他の2ちゃんねるブラウザと連携すれば便利かもしれません。
ある特定のスレだけを検索対象にしてwebに公開しても便利かもしれません。
0111nobodyさん
03/01/03 09:06ID:???すべてのページについて、php4とpostgresを使っていて、
URLは http://domain.com/foo/?category=bar の形式で作ってるんですが
（fooとbarはいろいろ変わる＆postgresでページの階層構造を管理してる）
これにNamazuを導入するには、どうすればいいんでしょうか・・・？
0112nobodyさん
03/01/03 09:29ID:v/h8n2uJ0113111
03/01/03 18:29ID:lPX3I1sa0116111
03/01/04 00:23ID:U6dtWDEb・・・いきたいな
0117111
03/01/04 19:17ID:BatkqzbV「php namazu インデクサ」とじゃ
「php namazu シェルスクリプト」とかで検索してるんだけど、
いまいち該当しない。
検索のヒント、ください。
0118111
03/01/11 17:11ID:CeP+V+mb0119nobodyさん
03/01/11 18:22ID:8y79ZXZ4ひらがなとかカタカナのもうめちゃくちゃな弱ささえ克服できればなぁ。
kakasiにひらがな単語の辞書登録さえあれば…。
もともと、そーゆープログラムではないから
ＡＱに採用されることないけど。
0120山崎渉
03/01/15 13:33ID:???0121nobodyさん
03/01/17 16:56ID:TsHzDgv8茶筅にしる!
0122nobodyさん
03/01/18 02:26ID:???サマリは直接生成。
0123nobodyさん
03/01/18 07:01ID:0IdKnMy10125124
03/01/18 15:07ID:???CGIを使えるサーバーを借りたら、解決だった。
0127nobodyさん
03/01/18 22:45ID:KC3+f7J6自分的にもそれは必須の機能だと思うんだけどなぁ。
頭の部分だけ静的に切り出したサマリーでずらずら検索で引っ掛かってきてもあんまサマリーの意味ない。
メーリングリストみたいにタイトルが内容の要約になってる、とかならいいんだけど。
0128nobodyさん
03/01/21 15:04ID:2m91wCEmNamazu 2.0.12 for Win32をWin98で使用しています。
mknmzを実行すると、下記のエラーが出てしまいます、、、
Can't locate File/MMagic.pm in @INC (@INC contains: . C:/Perl/lib C:/Perl/site/
lib .) at C:\USR\LOCAL\NAMAZU\BIN/mknmz line 34.
BEGIN failed--compilation aborted at C:namazu\bin/mknmz line 34.
お分かりになる方、いらっしゃっいましたら
ご教授ください。お願いします！
0129nobodyさん
03/01/21 23:04ID:???0130nobodyさん
03/01/22 00:18ID:???MMagicのインストールを行おうとすると、エラーがでるので確かにインストール
されていないようです。
namazuのパッケージに含まれてるppmは、500番台と600番台の２つなのですが
私のActivePerlのビルド番号を確認すると、804となっています、、、。
これが原因なんでしょうか？
0131nobodyさん
03/01/22 22:49ID:tlaGPNPQ0132nobodyさん
03/01/22 22:55ID:0SY2SNochttp://pc1.moo.jp
パソコン・インターネットの仕組み、パソコン自作・サーバー構築法について、動画や静止画を豊富に取り入れて、初心者向けに基礎から分かりやすく解説しています。
ガンガン、アクセスしてください！！
0133nobodyさん
03/01/22 23:06ID:DuSjMjDYhttp://banana.fruitmail.net/cgi/introduce_jump2.cgi?1363289
0134nobodyさん
03/01/23 09:19ID:XTkiyiclやっぱりkakasiより検索精度あがりますか？
とくにひらがな単語やカタカナ単語で。
0135nobodyさん
03/01/24 13:46ID:DnlSMTjH1ディレクトリで1000ファイルオーバーとかって、インデックス
作るのに問題ないっぽい？
なんか、毎日自動でインデックス作ってるんだけど、ちゃんと
インデックス作れてない(検索できない)場合が時々あるのよ。手動で
作ってやるとちゃんと動くところがまた憎らしい。
0136nobodyさん
03/01/24 15:43ID:9aIuMK5Xindex.htmが格納されて困るんだけどなんでだろう。
ブラウザ動かしながらやるとミスするのかなぁ。
win2k
0137nobodyさん
03/01/25 15:38ID:x6YUG/OMperl版でインデックス作らないとダメなのでしょうか？
そのままのインデックスでpnamazu.cgiでとりこぼしが減るのでしょうか？
0138nobodyさん
03/02/05 04:47ID:vQpd3y9f0139nobodyさん
03/02/05 06:56ID:CehyN38Wいいね〜 これ♪
0140nobodyさん
03/02/05 09:04ID:LQrwCDVWナマズの派生で、カバヤキっていうのでたけど使ってる人いる？
0141nobodyさん
03/02/05 09:11ID:JiOCwoo30142nobodyさん
03/02/05 10:12ID:???0144nobodyさん
03/02/07 03:32ID:/4XUF2iq作成した全文検索ってどのくらいパフォーマンスが変わってくるかなー
検索対象レコード：１０００、検索対象フィールド：３
各フィールド６０，０００文字ぐらいで考えてるんだけど、
MS-Access + ASP じゃ無理あるかな・・・
２、３秒で検索結果がでてくればいいのですが・・・
インデックスの作成自体、最近気づいた愚か者ですが、
よろしくお願いいたします m(_ _)m
0145nobodyさん
03/02/07 06:28ID:KeFGYCTZ？？？？？？？？？
0146nobodyさん
03/03/07 18:19ID:+bpjK8Vp0147nobodyさん
03/03/08 13:01ID:???http://www.akira.ne.jp/index.htm
0148nobodyさん
03/03/08 16:11ID:6pWNtujSどちらを使うかはどうやって決まるのでしょうか？
0149山崎渉
03/03/13 17:05ID:???0150nobodyさん
03/03/13 20:02ID:???0151nobody
03/03/28 00:40ID:???0152山崎渉
03/04/17 12:25ID:???0153山崎渉
03/04/20 06:08ID:???（ ＾＾ ）＜ ぬるぽ（＾＾）
0154nobodyさん
03/04/23 13:38ID:???CPU周り熱々になって九割方落ちる鬱
0155nobodyさん
03/04/28 11:08ID:???0156nobodyさん
03/05/14 16:15ID:???0157nobodyさん
03/05/18 02:04ID:inHKtSNsただ、データの量が多くインデックス作成に失敗する事が多々あり、
現在は分割して、インデックスを作成。
ここに追加（ --no-delete オプション）しています。
（更新は週に1回でも十分なので、本当は週に1回最初からインデックスを
作り直したいのですが、時間的にも労力的に厳しいです）
質問なのですが、上記の --no-delete オプションで一部のファイルをインデックスに
追加することと逆に、なんらかの方法で「指定したファイル」のインデックスからの
削除は可能でしょうか？
0158nobodyさん
03/05/18 10:06ID:OMFaVw9A>データの量が多くインデックス作成に失敗する事が多々あり
うちではそんなこと無いなあ。まあ10万ファイル程度だけど。
データ量が多いってどのくらい?
インデックス作成失敗って、どんなメッセージが出てどんな状況になるの?
0159nobodyさん
03/05/18 14:25ID:???共用サーバにてインデックスを作成、Namazuを利用しています。
おおよそ、1MB前後が1回あたりのインデックス作成の限度のようです。
メッセージは「Out of Memory!」です。
0160nobodyさん
03/05/18 17:53ID:???0161nobodyさん
03/05/19 02:54ID:???それも考えたのですが、インデックスには当然ローカルのファイルのパスが含まれてますよね？
現在はReplaceで、サーバのパス/virtual/ID/→http://〜の絶対パスに変更しています。
ローカル（Windowsマシン）C:\〜を絶対パスhttp://〜に変更させる事ができるのでしょうか？
0163nobodyさん
03/05/19 11:12ID:???Namazu と直接関係ないじゃん。
>>161
可能。パスを書き換えて、インデックスを再構築すればいい。rfnmz だっけ?
ml の過去ログで似たような事例を見た気がする。
0164nobodyさん
03/05/19 12:36ID:R1nWpNfcJavaで書かれたLuceneってのはできますよ。
0165動画直リン
03/05/19 13:08ID:IEVyzYan0166nobodyさん
03/05/19 14:26ID:???>>163
ありがとうございます。
wget＞インデックス作成＞検索と3段階で相当な負荷が
サーバにかかっていたので、いつアカウントを止められるのか
心配していました。
wget＞インデックス作成まで行えれば、
検索だけをサーバで行うので負荷も和らげられると思います。
0167nobodyさん
03/05/19 15:01ID:hryn2RRehttp://homepage3.nifty.com/coco-nut/
0168bloom
03/05/19 15:08ID:IEVyzYan0169nobodyさん
03/05/21 10:19ID:???互換性があるのでしょうか？
0170nobodyさん
03/05/21 14:38ID:zDb/UTki0171bloom
03/05/21 15:08ID:JZ9K0e/X■ このスレッドは過去ログ倉庫に格納されています