Namazu全文検索システム
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠お腹いっぱい。
2001/06/14(木) 09:17ID:???http://www.namazu.org/
日本語全文検索エンジンソフトウェアのリスト
http://www.kusastro.kyoto-u.ac.jp/~baba/wais/other-system.html
前スレ http://tako.2ch.net/test/read.cgi?bbs=perl&key=981352718
0153山崎渉
03/04/20 06:08ID:???（ ＾＾ ）＜ ぬるぽ（＾＾）
0154nobodyさん
03/04/23 13:38ID:???CPU周り熱々になって九割方落ちる鬱
0155nobodyさん
03/04/28 11:08ID:???0156nobodyさん
03/05/14 16:15ID:???0157nobodyさん
03/05/18 02:04ID:inHKtSNsただ、データの量が多くインデックス作成に失敗する事が多々あり、
現在は分割して、インデックスを作成。
ここに追加（ --no-delete オプション）しています。
（更新は週に1回でも十分なので、本当は週に1回最初からインデックスを
作り直したいのですが、時間的にも労力的に厳しいです）
質問なのですが、上記の --no-delete オプションで一部のファイルをインデックスに
追加することと逆に、なんらかの方法で「指定したファイル」のインデックスからの
削除は可能でしょうか？
0158nobodyさん
03/05/18 10:06ID:OMFaVw9A>データの量が多くインデックス作成に失敗する事が多々あり
うちではそんなこと無いなあ。まあ10万ファイル程度だけど。
データ量が多いってどのくらい?
インデックス作成失敗って、どんなメッセージが出てどんな状況になるの?
0159nobodyさん
03/05/18 14:25ID:???共用サーバにてインデックスを作成、Namazuを利用しています。
おおよそ、1MB前後が1回あたりのインデックス作成の限度のようです。
メッセージは「Out of Memory!」です。
0160nobodyさん
03/05/18 17:53ID:???0161nobodyさん
03/05/19 02:54ID:???それも考えたのですが、インデックスには当然ローカルのファイルのパスが含まれてますよね？
現在はReplaceで、サーバのパス/virtual/ID/→http://〜の絶対パスに変更しています。
ローカル（Windowsマシン）C:\〜を絶対パスhttp://〜に変更させる事ができるのでしょうか？
0163nobodyさん
03/05/19 11:12ID:???Namazu と直接関係ないじゃん。
>>161
可能。パスを書き換えて、インデックスを再構築すればいい。rfnmz だっけ?
ml の過去ログで似たような事例を見た気がする。
0164nobodyさん
03/05/19 12:36ID:R1nWpNfcJavaで書かれたLuceneってのはできますよ。
0165動画直リン
03/05/19 13:08ID:IEVyzYan0166nobodyさん
03/05/19 14:26ID:???>>163
ありがとうございます。
wget＞インデックス作成＞検索と3段階で相当な負荷が
サーバにかかっていたので、いつアカウントを止められるのか
心配していました。
wget＞インデックス作成まで行えれば、
検索だけをサーバで行うので負荷も和らげられると思います。
0167nobodyさん
03/05/19 15:01ID:hryn2RRehttp://homepage3.nifty.com/coco-nut/
0168bloom
03/05/19 15:08ID:IEVyzYan0169nobodyさん
03/05/21 10:19ID:???互換性があるのでしょうか？
0170nobodyさん
03/05/21 14:38ID:zDb/UTki0171bloom
03/05/21 15:08ID:JZ9K0e/X0173nobodyさん
03/05/22 01:10ID:???ありがとうございます。
Liunxのインストールからはじめるのは辛いですし、
cgiでインデックスを作ろうとするとすぐに落ちるので
助かりました
0174山崎渉
03/05/22 01:58ID:???0175nobodyさん
03/05/23 00:35ID:???0176山崎渉
03/05/28 17:21ID:???ﾋﾟｭ.ｰ ( ＾＾ ） ＜これからも僕を応援して下さいね（＾＾）。
＝〔~∪￣￣〕
＝ ◎――◎ 山崎渉
0177nobodyさん
03/05/30 16:43ID:???0178nobodyさん
03/06/18 16:39ID:DT1VWY3V0179nobodyさん
03/06/18 22:37ID:yFwDTAK+PHPﾏﾇｱﾙにかぎらずUTF8で書いてあるページは文字化けするツー事
nkfを利用しているからじゃないかな
0180nobodyさん
03/06/19 00:34ID:r/KT2iM+0181nobodyさん
03/06/25 14:23ID:77oj5Ix9全文検索できないの？
できるんだったら、指定したキーワードを含むファイルだけから全文検索するなんて使い方も可能？
また、インストールしたLinuxとかのディスクに置いてあるファイルでないと検索できないのかな？
Windowsマシン上にあるファイルもさがせたりしないんでしょーか。
いろいろ関連サイト見てみたけどそういったことは書いてなかったYo!って探し方悪いんでしょうか
0182nobodyさん
03/06/25 15:10ID:vaUG6cj5http://endou.kir.jp/yuminet/link.html
0183_
03/06/25 15:12ID:???0184ミルフィーユ
03/06/25 15:24ID:???おいしそうですねぇ。
0186181
03/06/27 00:27ID:6z/IvjGbnoってそれぞれの私の質問に対する回答ですか？
いずれにしてもｻﾝｸｽ子 http://www.namazu.org/ いってきます。。m(。＿。)m
0187？？？
03/06/27 19:27ID:1V/886pX→キーワード入力 ＯＫ →検索している 検索結果は出るのですが
全く関係のないページばかりリストアップ。そのページソースを検索キーワード
で探してもありません。
インデックスもエラーなくできて、アップも問題なくでき、検索もできるのですが
その結果が全くあさって・・・どこに問題がありそうでしょうか？？？。ご意見を
お願いします。
0189187
03/06/30 07:16ID:???んっ〜それにしても結果が全く関係なさ過ぎるんですよ。
インデックスがまともに出来ていないような現象です。
ただ、作業的には問題なく進んでるんですよ・・・ﾄﾎﾎ ｡・ﾟ（/д＼）ﾟ・｡
0190 ◆MiMIZUNCjA
03/07/07 03:25ID:sv7ydGsIそういう場合は最初から作り直しますがなんなんでしょうね。
たぶん回答じゃなくて、ｶﾞｲｼﾞﾝさんなんだよ。
...no. no! no!! no!!! nohhh!!!!!! nanimochigaudesholtu!!!
って感じだと思う。
0192山崎 渉
03/08/15 22:47ID:???│ ＾ ＾ │＜これからも僕を応援して下さいね（＾＾）。
⊂| |つ
（＿）（＿） 山崎パン
0193nobodyさん
03/10/02 14:51ID:???0194nobodyさん
03/10/06 00:26ID:MvGVNeyO複数indexを作る場合、
namazu.cgiと.namazurcのあるディレクトリの下に新しいディレクトリを作って分けて、.namazurcで制御すればいいんでしょうか？
今はindexファイルをnamazu.cgiと.namazurcのあるファイルと同じ階層に全部詰め込んでいます。
これだと、二つ以上のindexは作れないみたいです。
0195nobodyさん
03/10/06 00:33ID:???そのままインデクス名になる。使う場合は、.namzurcではなくて
NMZ.head.jaで idxname="foo" とか指定してやればいい。
0196nobodyさん
03/10/06 06:50ID:fxmWtj2Yわかりやすいレスありがとうございます。
解決しました。
0197nobodyさん
03/11/13 08:37ID:Tw9dU9HY「ホスティング依頼している鯖に namazu を入れて、メールの全文検索ができ
ないもんかな？」
という相談をうけますた。
う〜ん…………
おいらの使ったのは、ＲｅｄＨａｔだったんで、namazuはRPMでなんも考えずに
入れて、インデックス作って使ってたことはあるけど、ホス依頼してる鯖だと
root 権限なんか貰えないだろーしなぁ……
なんかいい方法ってないでしょか？
0198nobodyさん
03/11/14 09:37ID:???0199197
03/11/14 14:31ID:bYphtnKKありがとう！提案してみるよ
って、これ、インデックス作成はローカルの環境でするのかぁ
ま、いいや。相手がなんていうか、言うだけ言ってみよう
ヒントくれてサンクス！
0200nobodyさん
03/12/20 12:12ID:BT5vMVU90201nobodyさん
03/12/20 14:36ID:???特定のファイル(拡張子だけだったかも)を除外する
という設定項目があった様な記憶があるんで、
もしかしたら、それの応用でディレクトリごと無視するとかできるかも。
＃具体的にどんな設定をするかは忘れた
＃多分namazuの本家サイト見たらあったよ
0202nobodyさん
04/01/02 23:12ID:???という形式なのですが、
こういった動的なページに対してNamazuを使うというか、インデックスを作成するには、
どうすればいいのでしょうか？
0203202
04/01/02 23:13ID:???誤：「http://www.example/com/?cat=★」
正：「http://www.example.com/?cat=★」
0204202
04/01/04 01:18ID:LkXOe+SC0205z33
04/01/04 10:35ID:???replaceでがんばってどうにかできないかな？
例えば
/home/apache/documentroot/test/1.txt
↓
http://www.example.com/?cat=/test/1.txt
って変換だったら
Replace "/home/apache/documentroot" "http://www.example.com/?cat="
とか
こういうこと？
0207nobodyさん
04/01/19 19:55ID:daYuprPNnmz.field.****
の****を増やしたいのですが、どうしたら良いでしょうか？
具体的にはmknmz時にuriを見て
wwwroot/aaa/a.html
wwwroot/bbb/b.html
nmz.field.locate ってファイルを作ると
その中に
aaa
bbb
って出力されてほしい
で検索結果でyahooのカテゴリのように
<a href="a.html">aのタイトル</a>
カテゴリ TOP>>aaa（${locate}の値）とかやりたい
まぁ検索結果の中でuri見て変換したら良いんだけど、
もうちっとスマートに処理させたいなと・・・
0208z33
04/01/20 22:20ID:???ちょっとググッて探してみたら、こんなの見つけたけど
http://www.namazu.org/ml/namazu-users-ja/msg02744.html
参考になる？
0209nobodyさん
04/02/11 00:01ID:???0210nobodyさん
04/02/13 03:38ID:jCzy8g3E2chの過去ログを検索出来るようにしていますけど
ファイル数17万程度でインデックス作成に取り組んでいるのですけど
3日経っても終わりません。。おかしいと思いこちらに来ました。
もっと処理を早くしたいのですが、、
一応何を書けばいいのかわかりませんが、
PCのスペック等を簡単にまず記します。
何か必要な設定項目を書けと言われればすぐ書きますので、、
CPU P３-１G@dual
mem 1G
namazu ver2.0.12
perl 5.6
設定ファイルの中身を弄ればいいのでしょうか。。
一応インデックス書き出しは行われ続けていますけど
遅くて遅くて、、、
何かヒント等くれる方いらっしゃいませんでしょうか、、、？
0211210
04/02/13 03:45ID:jCzy8g3EKAKASI使用
mknmzrc設定
$ON_MEMORY_MAX = 5000000;
$FILE_SIZE_MAX = 10000000;
$TEXT_SIZE_MAX = 1000000;
$WORD_LENG_MAX = 128;
$INVALID_LENG = 128;
$MAX_FIELD_LENGTH = 200;
$WAKATI = $KAKASI;
とりあえずon memory maxの値が小さいのはわかったのですけど
これが速さに関係するのかは理解出来ませんでした。
また、他に問題点や気づく点等がありましたら教えて欲しいです、、
0212nobodyさん
04/02/13 08:37ID:???一気にmknmzするのではなく、分割してmknmz→マージする。
そうすれば処理時間もだいたい想像できる。
0213210
04/02/13 13:43ID:wO1Lum8s少しそれについて調べてみます。
0214森の妖精さん
04/02/16 02:31ID:/mo58UcMGETAのPHPインタフェイス作ろうという奇特な御仁は
いらっしゃいませんか？
0215nobodyさん
04/02/20 12:32ID:???こちらにまとめました。
検索エンジンをつくりたい
http://pc2.2ch.net/test/read.cgi/php/1009030584/l50
0216nobodyさん
04/03/24 21:59ID:???http://pc3.2ch.net/test/read.cgi/unix/1075033822/576
Java の API のリファレンスを Namazu でインデックス化していて
Emacs でプログラミング中にカーソル上のクラス名ですぐ検索したいんです
0217nobodyさん
04/03/31 21:28ID:???「現在-3の文書がインデックス化され、・・・」と文書の数がマイナスになっています。
どうしてなのでしょうか。
0218nobodyさん
04/03/31 21:46ID:5e+SzBpf0219(´･ω･｀)
04/04/01 21:05ID:98Q5EoMa日本語全文検索エンジンソフトウェアを教えてください。
0220nobodyさん
04/04/02 00:02ID:n5mwBUCQ0221nobodyさん
04/04/02 22:28ID:???0222nobodyさん
04/04/20 23:55ID:hVBcQucn0223nobodyさん
04/05/01 23:15ID:HE2QfFBX自分で作った辞書を、追加した。
# mkkanwa kanwadict (追加した辞書ファイル)
自分で追加した辞書の内容は、
上記の場合、(追加した辞書ファイル)を参照すれば分かるけど、
現在の辞書全体にどのような単語が登録されているかを調べるにはどうしたらいいんでしょうか？
kanwadictって、viで開くと文字化けして見れません。
※環境：UNIX
0224nobodyさん
04/05/27 15:51ID:CEx1TsW7にアクセス気出ません
0225nobodyさん
04/05/27 16:43ID:mtXfTMbYorz
0226nobodyさん
04/05/27 16:43ID:???0228nobodyさん
04/05/27 19:56ID:WJMdSqlX全文検索システム「Namazu」を配布するNamazu Projectは5月27日、
同プロジェクトのサーバが不正侵入を受けたと発表した。
http://headlines.yahoo.co.jp/hl?a=20040527-00000016-zdn_n-sci
0229nobodyさん
04/05/28 21:23ID:???0230nobodyさん
04/05/28 21:24ID:???0231nobodyさん
04/05/28 21:26ID:???0232nobodyさん
04/05/28 21:28ID:???0233nobodyさん
04/05/28 21:29ID:???0234nobodyさん
04/05/28 22:17ID:???0237nobodyさん
04/05/30 20:09ID:WmFD3m1t0239nobodyさん
04/06/17 19:14ID:KtXfrXmS検索結果について質問なんですけど
ttp://www.kaiho.mlit.go.jp/cgi-bin/namazu.cgi?query=%8B%DF%8AC&max=20&result=normal&sort=score
↑こんな風に検索語句と該当箇所が赤く強調されるのってどうやるんですか？
ttp://www.city.katano.osaka.jp/cgi-bin/namazu.cgi?key=a&submit=%B8%A1%BA%F7%B3%AB%BB%CF%21&whence=0&max=20&format=long&whence=0&dbname=reiki
自分のは↑こんなふうに参照したページの上部しか表示されません。
0240nobodyさん
04/06/17 21:45ID:???http://www.city.katano.osaka.jp/cgi-bin/namazu.cgi?query=%B8%F2%CC%EE&whence=0&max=20&result=normal&sort=score&idxname=reiki
NMZ.headにデフォルトで strong.keyword { color: Red; } あるから、
「ちゃんとしたキーワード」なら赤くなるハズ。
0241nobodyさん
04/06/18 00:33ID:???本当だ・・・キーワードの入れ方がまずかったようです。
自分のnamazuでやり直したらちゃんと表示されました。
無知で申し訳ありません。
0242nobodyさん
04/06/28 15:24ID:???全角文字で検索すると検索語が”%a5%d0%a5%”みたいな感じで文字化けします。
検索結果画面はきちんと表示されますが、検索文字列だけが化けています。
もう一回全角で検索すると文字化けが直ります。1回目だけ必ず文字化けします。
何が原因でしょうか？
0243nobodyさん
04/06/28 15:25ID:???ごめんなさい、無視してください。
0244nobodyさん
04/07/16 18:31ID:???ヒットしたファイルが日本語のファイル名だと、
ブラウザ上に表示されているファイル名を
クリックしてもファイルをオープンしません。
検索対象ファイルの、
ファイル名が日本語でも対応してますか？
ちなみにWindows版(2.0.12)です。
0245nobodyさん
04/07/19 00:54ID:???↑ここ見てnamazuの全文検索システムのソースを入れてみたら
無事に検索は出来るんですが検索された先のリンクがなぜか全てnamazu.phpがある
カレントディレクトリになってしまいます。
これはどうすれば対処することが出来ますかね？
0246nobodyさん
04/07/19 12:51ID:???0247245
04/07/22 13:31ID:???いじってみましたがやはり結果は同じです。
一体どこがおかしいんだろう？
例えばnamazu.phpをC:\homeに置いたら
検索結果はちゃんと表示されるんですがリンクが全て
namazu.phpを置いているディレクトリになってしまいます。(この場合はC:\home)
変えるべきところはnamazurcのReplaceのところとは思うんですが
何度変えても同じ結果になってしまいます。
どうすればちゃんとしたリンク先になってくれるかな？
参考にしたサイト↓
http://ponx.s5.xrea.com/hiki/ja/hiki.cgi?xrea_tdiary_namazu
http://you-like.to/nekomimi/works/w2k20001110.html
0249nobodyさん
04/07/31 19:38ID:???だよね。ちゃんとそうなってる？
0250nobodyさん
04/07/31 19:44ID:???この欄の ${author} が一体何を表示するのかがわからないので
ソースを追跡してみたのですが自分には具体的に読み解くことができませんでした。
sub field_init {
%FieldAlias = (
'author' => 'from' ,
'title' => 'subject' ,
'url' => 'uri' ,
);
あたりまではなんとなく分かるんですが・・・
Perlのすごい人！ だれか教えて！
0251nobodyさん
04/08/02 08:46ID:???著者がなにかを知りたいんだったらpnamazuではなく、mknmzのほうを解析するよろし。
0252nobodyさん
04/08/12 09:03ID:???Replace /index.html /
Replace /C\|/namazu/nurupo/ http://hoehoe.ne.jp/~nurupo/
と、２つの置換を行いたいのですが、当然できません。
正規表現が使えるみたいなことが書いてありますが
Replace /C\|/namazu/nurupo/(.+)/index.html http://hoehoe.ne.jp/~nurupo/$1/
では全てが http://hoehoe.ne.jp/~nurupo/$1/ にされてしまいます（$1が展開されない）
どうやればこの置換を実現できるのでしょうか？
■ このスレッドは過去ログ倉庫に格納されています