Namazu全文検索システム
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠お腹いっぱい。
2001/06/14(木) 09:17ID:???http://www.namazu.org/
日本語全文検索エンジンソフトウェアのリスト
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/other-system.html
前スレ http://tako.2ch.net/test/read.cgi?bbs=perl&key=981352718
0102Windows における namazu w/chasen
02/11/03 14:10ID:rQsphwgxcygwin のコアDLLのバージョンは 1.3.14-1 です。
0103nobodyさん
02/11/03 23:09ID:sdt4YScv全部cygwinでやる方法以外無いのでは？
そもそもkakasiを使う事が推奨されていて。
茶筅は結構イレギュラーな方法なわけだし。
（運用上結構問題がある）
0104nobodyさん
02/12/03 00:32ID:???0105nobodyさん
02/12/26 00:21ID:DUegdvZH形式自体はレス1つが1行になっているだけなんだけど、<a name="hoge">をつけるのもなんか違う気がするし。
ファイル名と行数だけ教えてくればそれでよいんですが。
Namazuでやっているようなこと、ChaSenで分かち書きしてインデックス作ってcgiで検索っていうのも作りかけたけど、
車輪の再発明になりそうで中断してる。
0106nobodyさん
02/12/26 00:41ID:M1+zinp+dat からそのままインデックスを作りたいってこと?
mknmz 用のフィルタを書けばいいだけだよね。
perl だし結構簡単そうだね。
0107nobodyさん
02/12/26 01:19ID:DUegdvZHそのとおりっす。
各行の先頭に<a name="スレ番号"></a>入れて、理由は不明ですが、先頭行に適当に<html>とか入れてあげて、
mknmz --html-split -a hogohoge.dat
でインデックスは作れたし、検索もできるのは分かるのですが、
mknmzのソースのprocess_file辺りを見ると、コメントに、FIXME: Very complicated.とあるくらいなんで、めんどいなと。
html向けには分割して処理してるみたいですし。
誰か同じようなこと考えていないかなと。
0108nobodyさん
02/12/26 01:48ID:M1+zinp+read.cgi が出力する html をインデックスするよりも、
dat から直にインデックスする方がきっと速い。
いちいち dat から html 作らないから、不要なファイルを作らなくてもよい。
html として出力するのは 2ch ビューアとか、read.cgi に一任できる。
利点はこのあたりかな。みみずんとか喜びそうだよね。
結局、mknmz の仕様に則ったフィルタを作ればいい。
html.pl とか参考にして作ってみたら?
http://cvs.namazu.org/namazu/filter/html.pl?rev=1.34&content-type=text/vnd.viewcvs-markup
もし実現できたら、cvs にある scheme/http.pl と組み合わせて、
2ch.net の dat を直接インデックスできるかな。
あ、今 2ch.net は dat 直読みできないんだっけ? だめか。
0109nobodyさん
02/12/26 02:05ID:DUegdvZHフィルタ自体はHTMLのでも十分なんですよ。
--html-splitなしでは、mknmzってファイル単位でしかインデックス作らないじゃないですか。
datってスレ毎で、全レスが入っているから、スレごとにしか検索できないことになってマズーなのです。
p2 ( http://pc.2ch.net/test/read.cgi/mac/1034199997/ )のdatを2次利用したいなと思っていろいろ試してます。
>>107 に書いたように、mknmzのprocess_fileあたりの--html-split処理部を書き換えてみてます。
0110nobodyさん
03/01/02 18:30ID:cP1MLYPA--html-split的なファイル分割を実現している人がいます。
本家には全く取り込まれていませんが…
Emacsのinfoファイルの分割(X-ml-name: namazu-devel-ja X-mail-count: 02059 )
http://www.namazu.org/ml/namazu-devel-ja/msg02063.html
PDFファイルをページごとに分割(X-ml-name: namazu-devel-ja X-mail-count: 01951)
http://www.namazu.org/ml/namazu-devel-ja/msg01950.html
つーかどちらも実装したのは僕ですが…
実現は単純だと思います。
行ごとにsplitするだけでとりあえずは実装できると思います。
見やすいようにフィールド情報を与えるためにはちょっと工夫がいるかもしれません。
ただフィールド情報が無くても十分有用だと思います。
そのページだけじゃわかりづらいと思うのでわからなかったら質問してください。
navi2chやら他の2ちゃんねるブラウザと連携すれば便利かもしれません。
ある特定のスレだけを検索対象にしてwebに公開しても便利かもしれません。
0111nobodyさん
03/01/03 09:06ID:???すべてのページについて、php4とpostgresを使っていて、
URLは http://domain.com/foo/?category=bar の形式で作ってるんですが
（fooとbarはいろいろ変わる＆postgresでページの階層構造を管理してる）
これにNamazuを導入するには、どうすればいいんでしょうか・・・？
0112nobodyさん
03/01/03 09:29ID:v/h8n2uJ0113111
03/01/03 18:29ID:lPX3I1sa0116111
03/01/04 00:23ID:U6dtWDEb・・・いきたいな
0117111
03/01/04 19:17ID:BatkqzbV「php namazu インデクサ」とじゃ
「php namazu シェルスクリプト」とかで検索してるんだけど、
いまいち該当しない。
検索のヒント、ください。
0118111
03/01/11 17:11ID:CeP+V+mb0119nobodyさん
03/01/11 18:22ID:8y79ZXZ4ひらがなとかカタカナのもうめちゃくちゃな弱ささえ克服できればなぁ。
kakasiにひらがな単語の辞書登録さえあれば…。
もともと、そーゆープログラムではないから
ＡＱに採用されることないけど。
0120山崎渉
03/01/15 13:33ID:???0121nobodyさん
03/01/17 16:56ID:TsHzDgv8茶筅にしる!
0122nobodyさん
03/01/18 02:26ID:???サマリは直接生成。
0123nobodyさん
03/01/18 07:01ID:0IdKnMy10125124
03/01/18 15:07ID:???CGIを使えるサーバーを借りたら、解決だった。
0127nobodyさん
03/01/18 22:45ID:KC3+f7J6自分的にもそれは必須の機能だと思うんだけどなぁ。
頭の部分だけ静的に切り出したサマリーでずらずら検索で引っ掛かってきてもあんまサマリーの意味ない。
メーリングリストみたいにタイトルが内容の要約になってる、とかならいいんだけど。
0128nobodyさん
03/01/21 15:04ID:2m91wCEmNamazu 2.0.12 for Win32をWin98で使用しています。
mknmzを実行すると、下記のエラーが出てしまいます、、、
Can't locate File/MMagic.pm in @INC (@INC contains: . C:/Perl/lib C:/Perl/site/
lib .) at C:\USR\LOCAL\NAMAZU\BIN/mknmz line 34.
BEGIN failed--compilation aborted at C:namazu\bin/mknmz line 34.
お分かりになる方、いらっしゃっいましたら
ご教授ください。お願いします！
0129nobodyさん
03/01/21 23:04ID:???0130nobodyさん
03/01/22 00:18ID:???MMagicのインストールを行おうとすると、エラーがでるので確かにインストール
されていないようです。
namazuのパッケージに含まれてるppmは、500番台と600番台の２つなのですが
私のActivePerlのビルド番号を確認すると、804となっています、、、。
これが原因なんでしょうか？
0131nobodyさん
03/01/22 22:49ID:tlaGPNPQ0132nobodyさん
03/01/22 22:55ID:0SY2SNochttp://pc1.moo.jp
パソコン・インターネットの仕組み、パソコン自作・サーバー構築法について、動画や静止画を豊富に取り入れて、初心者向けに基礎から分かりやすく解説しています。
ガンガン、アクセスしてください！！
0133nobodyさん
03/01/22 23:06ID:DuSjMjDYhttp://banana.fruitmail.net/cgi/introduce_jump2.cgi?1363289
0134nobodyさん
03/01/23 09:19ID:XTkiyiclやっぱりkakasiより検索精度あがりますか？
とくにひらがな単語やカタカナ単語で。
0135nobodyさん
03/01/24 13:46ID:DnlSMTjH1ディレクトリで1000ファイルオーバーとかって、インデックス
作るのに問題ないっぽい？
なんか、毎日自動でインデックス作ってるんだけど、ちゃんと
インデックス作れてない(検索できない)場合が時々あるのよ。手動で
作ってやるとちゃんと動くところがまた憎らしい。
0136nobodyさん
03/01/24 15:43ID:9aIuMK5Xindex.htmが格納されて困るんだけどなんでだろう。
ブラウザ動かしながらやるとミスするのかなぁ。
win2k
0137nobodyさん
03/01/25 15:38ID:x6YUG/OMperl版でインデックス作らないとダメなのでしょうか？
そのままのインデックスでpnamazu.cgiでとりこぼしが減るのでしょうか？
0138nobodyさん
03/02/05 04:47ID:vQpd3y9f0139nobodyさん
03/02/05 06:56ID:CehyN38Wいいね〜 これ♪
0140nobodyさん
03/02/05 09:04ID:LQrwCDVWナマズの派生で、カバヤキっていうのでたけど使ってる人いる？
0141nobodyさん
03/02/05 09:11ID:JiOCwoo30142nobodyさん
03/02/05 10:12ID:???0144nobodyさん
03/02/07 03:32ID:/4XUF2iq作成した全文検索ってどのくらいパフォーマンスが変わってくるかなー
検索対象レコード：１０００、検索対象フィールド：３
各フィールド６０，０００文字ぐらいで考えてるんだけど、
MS-Access + ASP じゃ無理あるかな・・・
２、３秒で検索結果がでてくればいいのですが・・・
インデックスの作成自体、最近気づいた愚か者ですが、
よろしくお願いいたします m(_ _)m
0145nobodyさん
03/02/07 06:28ID:KeFGYCTZ？？？？？？？？？
0146nobodyさん
03/03/07 18:19ID:+bpjK8Vp0147nobodyさん
03/03/08 13:01ID:???http://www.akira.ne.jp/index.htm
0148nobodyさん
03/03/08 16:11ID:6pWNtujSどちらを使うかはどうやって決まるのでしょうか？
0149山崎渉
03/03/13 17:05ID:???0150nobodyさん
03/03/13 20:02ID:???0151nobody
03/03/28 00:40ID:???0152山崎渉
03/04/17 12:25ID:???0153山崎渉
03/04/20 06:08ID:???（ ＾＾ ）＜ ぬるぽ（＾＾）
0154nobodyさん
03/04/23 13:38ID:???CPU周り熱々になって九割方落ちる鬱
0155nobodyさん
03/04/28 11:08ID:???0156nobodyさん
03/05/14 16:15ID:???0157nobodyさん
03/05/18 02:04ID:inHKtSNsただ、データの量が多くインデックス作成に失敗する事が多々あり、
現在は分割して、インデックスを作成。
ここに追加（ --no-delete オプション）しています。
（更新は週に1回でも十分なので、本当は週に1回最初からインデックスを
作り直したいのですが、時間的にも労力的に厳しいです）
質問なのですが、上記の --no-delete オプションで一部のファイルをインデックスに
追加することと逆に、なんらかの方法で「指定したファイル」のインデックスからの
削除は可能でしょうか？
0158nobodyさん
03/05/18 10:06ID:OMFaVw9A>データの量が多くインデックス作成に失敗する事が多々あり
うちではそんなこと無いなあ。まあ10万ファイル程度だけど。
データ量が多いってどのくらい?
インデックス作成失敗って、どんなメッセージが出てどんな状況になるの?
0159nobodyさん
03/05/18 14:25ID:???共用サーバにてインデックスを作成、Namazuを利用しています。
おおよそ、1MB前後が1回あたりのインデックス作成の限度のようです。
メッセージは「Out of Memory!」です。
0160nobodyさん
03/05/18 17:53ID:???0161nobodyさん
03/05/19 02:54ID:???それも考えたのですが、インデックスには当然ローカルのファイルのパスが含まれてますよね？
現在はReplaceで、サーバのパス/virtual/ID/→http://〜の絶対パスに変更しています。
ローカル（Windowsマシン）C:\〜を絶対パスhttp://〜に変更させる事ができるのでしょうか？
0163nobodyさん
03/05/19 11:12ID:???Namazu と直接関係ないじゃん。
>>161
可能。パスを書き換えて、インデックスを再構築すればいい。rfnmz だっけ?
ml の過去ログで似たような事例を見た気がする。
0164nobodyさん
03/05/19 12:36ID:R1nWpNfcJavaで書かれたLuceneってのはできますよ。
0165動画直リン
03/05/19 13:08ID:IEVyzYan0166nobodyさん
03/05/19 14:26ID:???>>163
ありがとうございます。
wget＞インデックス作成＞検索と3段階で相当な負荷が
サーバにかかっていたので、いつアカウントを止められるのか
心配していました。
wget＞インデックス作成まで行えれば、
検索だけをサーバで行うので負荷も和らげられると思います。
0167nobodyさん
03/05/19 15:01ID:hryn2RRehttp://homepage3.nifty.com/coco-nut/
0168bloom
03/05/19 15:08ID:IEVyzYan0169nobodyさん
03/05/21 10:19ID:???互換性があるのでしょうか？
0170nobodyさん
03/05/21 14:38ID:zDb/UTki0171bloom
03/05/21 15:08ID:JZ9K0e/X0173nobodyさん
03/05/22 01:10ID:???ありがとうございます。
Liunxのインストールからはじめるのは辛いですし、
cgiでインデックスを作ろうとするとすぐに落ちるので
助かりました
0174山崎渉
03/05/22 01:58ID:???0175nobodyさん
03/05/23 00:35ID:???0176山崎渉
03/05/28 17:21ID:???ﾋﾟｭ.ｰ ( ＾＾ ） ＜これからも僕を応援して下さいね（＾＾）。
＝〔~∪￣￣〕
＝ ◎――◎ 山崎渉
0177nobodyさん
03/05/30 16:43ID:???0178nobodyさん
03/06/18 16:39ID:DT1VWY3V0179nobodyさん
03/06/18 22:37ID:yFwDTAK+PHPﾏﾇｱﾙにかぎらずUTF8で書いてあるページは文字化けするツー事
nkfを利用しているからじゃないかな
0180nobodyさん
03/06/19 00:34ID:r/KT2iM+0181nobodyさん
03/06/25 14:23ID:77oj5Ix9全文検索できないの？
できるんだったら、指定したキーワードを含むファイルだけから全文検索するなんて使い方も可能？
また、インストールしたLinuxとかのディスクに置いてあるファイルでないと検索できないのかな？
Windowsマシン上にあるファイルもさがせたりしないんでしょーか。
いろいろ関連サイト見てみたけどそういったことは書いてなかったYo!って探し方悪いんでしょうか
0182nobodyさん
03/06/25 15:10ID:vaUG6cj5http://endou.kir.jp/yuminet/link.html
0183_
03/06/25 15:12ID:???0184ミルフィーユ
03/06/25 15:24ID:???おいしそうですねぇ。
0186181
03/06/27 00:27ID:6z/IvjGbnoってそれぞれの私の質問に対する回答ですか？
いずれにしてもｻﾝｸｽ子 http://www.namazu.org/ いってきます。。m(。＿。)m
0187？？？
03/06/27 19:27ID:1V/886pX→キーワード入力 ＯＫ →検索している 検索結果は出るのですが
全く関係のないページばかりリストアップ。そのページソースを検索キーワード
で探してもありません。
インデックスもエラーなくできて、アップも問題なくでき、検索もできるのですが
その結果が全くあさって・・・どこに問題がありそうでしょうか？？？。ご意見を
お願いします。
0189187
03/06/30 07:16ID:???んっ〜それにしても結果が全く関係なさ過ぎるんですよ。
インデックスがまともに出来ていないような現象です。
ただ、作業的には問題なく進んでるんですよ・・・ﾄﾎﾎ ｡・ﾟ（/д＼）ﾟ・｡
0190 ◆MiMIZUNCjA
03/07/07 03:25ID:sv7ydGsIそういう場合は最初から作り直しますがなんなんでしょうね。
たぶん回答じゃなくて、ｶﾞｲｼﾞﾝさんなんだよ。
...no. no! no!! no!!! nohhh!!!!!! nanimochigaudesholtu!!!
って感じだと思う。
0192山崎 渉
03/08/15 22:47ID:???│ ＾ ＾ │＜これからも僕を応援して下さいね（＾＾）。
⊂| |つ
（＿）（＿） 山崎パン
0193nobodyさん
03/10/02 14:51ID:???0194nobodyさん
03/10/06 00:26ID:MvGVNeyO複数indexを作る場合、
namazu.cgiと.namazurcのあるディレクトリの下に新しいディレクトリを作って分けて、.namazurcで制御すればいいんでしょうか？
今はindexファイルをnamazu.cgiと.namazurcのあるファイルと同じ階層に全部詰め込んでいます。
これだと、二つ以上のindexは作れないみたいです。
0195nobodyさん
03/10/06 00:33ID:???そのままインデクス名になる。使う場合は、.namzurcではなくて
NMZ.head.jaで idxname="foo" とか指定してやればいい。
0196nobodyさん
03/10/06 06:50ID:fxmWtj2Yわかりやすいレスありがとうございます。
解決しました。
0197nobodyさん
03/11/13 08:37ID:Tw9dU9HY「ホスティング依頼している鯖に namazu を入れて、メールの全文検索ができ
ないもんかな？」
という相談をうけますた。
う〜ん…………
おいらの使ったのは、ＲｅｄＨａｔだったんで、namazuはRPMでなんも考えずに
入れて、インデックス作って使ってたことはあるけど、ホス依頼してる鯖だと
root 権限なんか貰えないだろーしなぁ……
なんかいい方法ってないでしょか？
0198nobodyさん
03/11/14 09:37ID:???0199197
03/11/14 14:31ID:bYphtnKKありがとう！提案してみるよ
って、これ、インデックス作成はローカルの環境でするのかぁ
ま、いいや。相手がなんていうか、言うだけ言ってみよう
ヒントくれてサンクス！
0200nobodyさん
03/12/20 12:12ID:BT5vMVU90201nobodyさん
03/12/20 14:36ID:???特定のファイル(拡張子だけだったかも)を除外する
という設定項目があった様な記憶があるんで、
もしかしたら、それの応用でディレクトリごと無視するとかできるかも。
＃具体的にどんな設定をするかは忘れた
＃多分namazuの本家サイト見たらあったよ
■ このスレッドは過去ログ倉庫に格納されています