namazuでサーバーを立てたい
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@ディストリいっぱい
NGNGそこでnamazuを使って検索用のサーバーを立てようと思います。みんなのために。
namazuのインストールは終了しました。動作もばっちりです。
ただログを収集するのが大変です。
自動的にログを収集してくれるスクリプトってないですか?
っていうかそんなの持ってる人いたらください。
あと
http://cocoa.2ch.net/linux/dat/
↑ここからログを拾うとdatファイル形式なのでhtmlで表示されません。
ログはどこから拾ってくればいいんでしょうか?
html形式で保存されているほうが何かと便利なんですけど。
0268login:ディストリいっぱい
NGNGああぁ。すみません。
前に聞かれた時には全然増やす気はなかったんですけどこのあいだ大先生の検索が
使えなくなってたのでそのフォローのつもりで一気に検索対象板を増やしちゃいました。
>>267さん
ということはー。僕のところは見にくい配色だと言うことですね・・・へ・へこーん。
0269このスレ最初っから見てたけど
NGNG改めて使うと便利便利
運営ガンバレよ
0270247
NGNGいや〜ちゃいます...今テストしているページの配色が悪くて見づらいので
どうにかしようと考え中なところなんです。
wgetを使っていて、ファイル数が多い所からのダウンロードをすると
急に動作が遅くなり、通常ならメモリ消費がコンスタントに1MBぐらいのところ
20〜30MBも食いバグかな?と思わせる動きをしますね。
バージョン1.6、1.7を試した限りでは同じ症状。
この時1つ1つのファイルサイズが小さくても関係ないので
メモリ回りのバグなのか・・・。
同じ相手サーバー内でもファイル数の少ないディレクトリなら全然問題無いので
通常利用には問題無いのだろうけど。
0271login:Penguin
NGNG0272login:Penguin
NGNG試験的に公開します。
まだ、不都合があるかもしれないので気が付いたら指摘してください。
http://www12.tok2.com/home/apache/
0273Anonymous
NGNG色分けによりわかりやすいサイトだね。
0274login:Penguin
NGNGページ構成がまだ、決まってないけどシンプルに
する予定です。
0275login:Penguin
NGNG0276login:Penguin
NGNG使いやすいサイト目指してやってみます。
0277login:Penguin
NGNGむぅ。うちの Netscape だと何も表示されん…
0278login:Penguin
NGNG俺もリロードすると何も表示されなくなる。。。
0279login:Penguin
NGNGUNIX?
0281login:Penguin
NGNG<!--meta http-equiv="Content-Type" content="text/html; charset=euc"-->
コメントアウトしてちゃあ駄目だろ。。。
0282login:Penguin
NGNG100点を取る必要はないけど(ほとんど不可能)
htmlの間違い探しに使ってください。
http://validator.w3.org/
0283272
NGNG今朝、x-sjis>euc>コメントアウトしてチェックしてみたけど・・・。
これから色々やってみます。
0284272
NGNG0285272
NGNGテスト公開中検索
http://www12.tok2.com/home/apache/
入り口のindex.htmlは、定期的にPerlで書き出しているのと
フリーサーバーの場合はそれを、#includeして広告を入れている?ので
手探りで文字コード指定しました。(笑
フレームタグのサイズ指定が、ブラウザによって解釈が違ったりするので
これもまた、手探り状態で色々設定してどうにかまともになりました。
0286272
NGNGhttp://www.yahoo.co.jp/docs/help/mojibake/sonota.html
今のところ問題無さそうなのでひとまず現状維持。
0287272
NGNG>>258 にタイムスタンプの引継ぎを入れると・・
wget -m -I linux/dat http://cocoa.2ch.net/linux/dat
for i in `ls $datdir | egrep "[0-9]+\.dat"`
do j=`echo $i | sed -e 's/\.dat//'`
$dat2html '<>' "" $datdir/$i > $wgetdir/'cocoa.2ch.net/test/read.cgi?bbs=linux&key='$j
touch -r $datdir/$i $wgetdir/'cocoa.2ch.net/test/read.cgi?bbs=linux&key='$j #タイムスタンプ引継ぎ
done
ディレクトリごと削除した時に効果あるかわかりませんがタイムスタンプが
以前にインデックスを作成した時と同じならmknmz 時にスキップしてくれるかも
しれません。
0288hanajan:特科連χ
NGNG一昨日に検索窓を付けたモノでして。。。
http://www.hanajan.com/buttai_x.htm
0289login:ディストリいっぱい
NGNGしかし http://www.dyn.to/ って結構ポロポロサバ落ちするんだなあ。金取ってるくせして。
こんなんだったら最初から無料の http://dyndns.org/ にすればよかったなあ。
金取ってる分だけ安定してるかと思ったのに。今さら変えるの大変だしなあ。
はあああ。ストレスたまるー。
あまりにもストレスがたまるので他のところに変えてやるーって思って探してたら
最近新しいのできたんですね。→ http://ddo.jp/ ←誰か使ったことある人います?
試しに取ってみたけどどうだろう。1ヶ月全くオチないようだったらこのまま使ってもいいかなあ。
http://2ch.ddo.jp/
でも年額6000円は高い。。。
0290hanajan:特科連χ
NGNG月額6000円程度でし・・・
http://www.hanajan.com/
メインのWWWです。
そろそろ、フレーム付けっかな〜。。。
0291login:ディストリいっぱい
NGNG昨日書いた http://ddo.jp/ のサイトをうろうろチェックしてたら
http://ddo.jp/links.php
↑「Linux@2ch掲示板」にリンクが張ってました!!!笑
そうだったんですね。僕たちの仲間だったんですね。水臭いではないですか。ddo.jpさん。
だったら推奨します。→ http://ddo.jp/ ←素晴らしい
今のところ問題ないし、無料バージョンもあるし、ドメイン覚えやすいし。いいと思います。
Linux板住人価格として6000円を3000円にまけてくれるともっと素晴らしい。←ホメた目的はこれ
話変わりますけどこの板、最近書き込みがすごく減ってないですか? (@@;)
0292Anonymous
NGNGhttp://www.geocities.co.jp/SiliconValley-Cupertino/5864/index.html
ジャンルは2ちゃんねる@UNIX板/Linux板(藁
0293login:ディストリいっぱい
NGNGアップローダーがあったんでエロエロ画像がアップされているのを期待して
見てみたんですが全然違いました。。がっかりです。。。
アップローダ=エロエロ画像 と考える僕が間違ってますかー?(ーー;)
0294login:Penguin
NGNG0295login:Penguin
NGNG心配するな俺もそう思ったよ。
0296login:Penguin
NGNG●毎日更新
http://203.141.142.84/~manber/
0297Anonymous ◆True/7Po
NGNG事後報告、くだしつスレにリンク張りました
http://cocoa.2ch.net/test/read.cgi?bbs=linux&key=997856956
0298296
NGNG高レスポンスで返せるようチューニングに励みます。
0299login:Penguin
NGNG0300◆EMrmvKLI
NGNG0301login:Penguin
NGNG広告貼って小遣い稼ぎですか?
03022ch検索の"管理"人かも
NGNG1円もお金なんか入ってきませんけど?
広告=管理人にお金が入る
と思ってはいけません。
広告を貼るから値引きをしてくれ、ということで広告が入ってます。
ちなみに前のコレガの時も広告を貼るから懸賞の商品を提供してくれ、
との条件でバナーを貼ってました。僕には何も入ってきてません。
http://2ch.dyn.to/corega_hub.html
↑これね。
これらは、みんなに作ってもらったからみんなに対するお礼のつもりでやってます。
僕が金儲けして喜ぶような人間だと思ったんですかー?
0303余弦者
NGNG現在閉鎖中の板は2度と戻ってこないかもしれないので、
現在のログを保存してあとで公開してもらえると非常に助かるのだが
03042ch検索の管理人かも
NGNGああぁ、、、僕はログは捨ててます、、、
でもって「かなりしばらくお待ちください。」のところは
今となってはdatファイルを取ることもできません、、、
ですから僕には何もできません、、、すみません、、、
みみずんさんのところがログをちゃんと保存してるからなんとか
してくれるかもしんないです。
↓ココです。
http://mimizun.mine.nu/
03052ch検索の管理人かも
NGNGhttp://203.141.142.84/~manber/
http://64.124.197.202/main.htm
こういう状態です、、、ああああ。
「壊滅状態」という言葉がぴったりの今日です、、、
0306login:Penguin
NGNGデータ取り込み時に圧迫される回線
インデックス書き出し時に消費されるCPUパワー
データ保存で必要なHDD領域
常時稼動によって掛かる電気代&騒音。
手間も掛かり決して楽なボランティアでは無いと思いますので
がんばってください。>各検索の管?理人
0307hanajan@零号 ◆abdWn..Q
01/08/26 21:05ID:lwjpwoTg"レス全部読む"ではなく"最新レス100"
のURLが指定できんかのぅ。。。
0308ディストリがいっぱい
01/08/26 21:38ID:iEaIYVakお・応援ありがとうございます。が・頑張ります。
>>307
それ、いいですねえ。
ja.po かなんかをいじればできそうな気もします。
でも僕は ja.po というものがどこにあるのか知りません。ですから永遠に対応はできません。
さ・さようなら。。。ごめんなさい。。。
0309検索エンジン全開 "管理"人
01/08/27 21:30ID:06X1b0s6UPSは管理人の個人的財政難から今後も採用予定無し...
>>307 可能だと思いますが、検索キーワードでHitしたスレッド内を
ブラウザ検索で長い書込みの中から絞込みを想定しています。
現状でどうにか使って頂きたいと思います。
0310login:Penguin
01/09/05 01:36ID:9/sH.COAexport var=valは許すとして、
for i in `ls $datdir|egrep "[0-9]\.dat"`なんて痛すぎ。
ディレクトリ空だったら死ぬだろ。
昔の話題ではあるが。
0311ディストリいっぱい
01/09/29 23:47ID:gAs/Bj.E暇な人は見てみて下さい。
今月の初めにライターさんから「掲載させてもらいます。」という話は聞いていたけど
どういうふうに取り上げるのかは聞いてなかったんで、どんなふうに載ってるんだろ?
と思って立ち読みしようと思って本屋に行ったら結構大きく紹介されてたので
買ってしました。永久保存版。。。
今度の目標は日経Linuxに掲載されることです。頑張ります。
0312login:Penguin
01/09/29 23:49ID:gAs/Bj.E0313login:Penguin
01/09/29 23:50ID:gAs/Bj.E0315login:Penguin
01/09/30 00:06ID:s8gsnkrQ技術的なことはちんぷんかんぷんですが、
本当におめでとうございます。
0316ディストリいっぱい
01/09/30 00:14ID:2uU1/ecY0318うろんぐ
01/11/30 17:52ID:0UsyWI7Sでも、M-x namazu で検索文字列を入れてみると
Wrong type argument: stringp, nil
と表示されて検索できなかった。
コマンドラインから namazu で検索するとちゃんと検索できてるのになぁ。
何が悪いのでしょうか? emacs-lisp を勉強していない俺が悪いのでしょうか?
0319みみずん
01/11/30 20:32ID:8qsrn8Pr過去ログ取得スクリプトにバグはあるしディスク障害もあるわで。
http://mimizun.mine.nu/
0320うろんぐ
01/12/01 08:49ID:U6ZUKGfm自己レス。
~/.namazurc でのデフォルトのインデックス指定が
Index ほげ
だったのが敗因でした。
INDEX ほげ
じゃないとだめなんですね。いや、 namazu はどっちでもいいんですが、 namazu.el で .namazurc を解析するところが INDEX しか見てくれないんですよね。それだけでした。スマソ。
0321login:Penguin
01/12/07 17:50ID:QGAXIRf/0322login:Penguin
01/12/07 20:45ID:+fpiRIvO何がおすすめ?
合計 20GB 程度の Web サイト内の全文検索をしたい。
0323login:Penguin
01/12/08 11:15ID:AvJQP9li>>321 は例の私怨厨か... まだいたんだな。
0324login:Penguin
01/12/13 11:18ID:ugaubRPBなるほど、と思っていろいろ商用のものを見てみたんですが、
きづいたこと。
Namazu をつかってて、致命的に困っていることが、無い。
というわけで Namazu を使いつづけることにしました。
Debian 用パッケージも用意されていることだし。
0325あのみみずん@ N72ch-01p57.ppp11.odn.ad.jp
01/12/16 09:46ID:dwyzpYXYまぁ検索精度は低く感じるけど無料だから文句ないし。
つか、index作るのに時間かかるね・・・メモリも食うし。
0326login:Penguin
01/12/18 00:35ID:xpsT3a/l0327login:Penguin
02/01/26 16:50ID:7jfLsj9S0328login:Penguin
02/01/26 21:15ID:7jfLsj9S昨年10月ごろの ML で Fuji Xerox の開発部でも UNIX 用のフィルタの必要性は認識しているって言う話がでてたらしいんですが、その後まったく話を聞きません。
0329login:Penguin
02/01/26 21:30ID:UX7CiKAA個人でも邪険にされることはありませんよ
0330login:Penguin
02/01/26 22:35ID:cUpXDNAMそれ、ずーっと昔に試したことがあるけど、かなり遅いよ(汗
postgresでもmysqlでもoracleでもsybaseでも。
データ型のチェックとか格納のためのソートツリーの作成とか、
kakasiを使うにあたって不要な部分がボトルネックになる模様。
0331login:Penguin
02/01/27 00:49ID:rUkqU65aそれって、kakasi のソースをいじってってことですか?
それとも毎回データベースから単語ファイルを作成して辞書ファイルを作成して…ってことですか?
もしかして前者の場合だったらパッチがあるとか…。
0332login:Penguin
02/01/27 05:51ID:rUkqU65aなんか久しぶりにこのスレ読んで、おもだしたので、BTS にあげときました。
0333login:Penguin
02/02/09 12:34ID:QOH+2g3Z0334login:Penguin
02/03/08 14:10ID:OE9ed93xv0.6以降からおいらのスキルじゃWord文章をうまく検索できんようになってしまった。
0335login:Penguin
02/03/08 17:16ID:2E3LNJfKCVS から最新のフィルタだけ持ってきたらどうですかね。
http://cvs.namazu.org/~checkout~/namazu/filter/msword.pl?rev=1.30
0336login:Penguin
02/03/24 00:16ID:ECEITlSW0337login:Penguin
02/05/01 23:10ID:vlGgka0t0338名無しさん@ディストリいっぱい
02/05/04 01:19ID:sJTSZgK7よく頑張りました。(自画自賛)
0339login:Penguin
02/05/04 01:28ID:rn7+GErzコテハンはひさしぶりだな。
掲示板すごいことになってるね。
0340名無しさん@ディストリいっぱい
02/05/04 01:39ID:sJTSZgK7あの質問づくしのことですか?もう慣れました。メールでも「削除して下さい。」とか
「書き込みができないんですけどなんでですか?」ってメールがしょっちゅうきます。
わかる範囲で答えてますけど。
1年ってあっという間だなあとしみじみとした気分です。
0341login:Penguin
02/05/04 07:09ID:vsdupTed知らずに使っていた2ch検索にこんな歴史があったなんてね。
0342あれれ?
02/05/04 07:12ID:vsdupTed詐称ではありませぬ。
0343login:Penguin
02/05/04 08:44ID:rn7+GErzそれは「名無し」だ。
http://freezone.kakiko.com/jiten/n.html#nanasisan
0344login:Penguin
02/07/19 22:06ID:SLbxrvZg"namazu.cgi"を間違って消してしまいました。今から使おうと思ったのに
redhat7.3のrpmから入れたやつです。ちなみにバージョンは
namazu-2.0.10-4
namazu-cgi-2.0.10-4
だれかアップしていただけると助かります。お願いします。
0345hh
02/07/19 23:15ID:6iM25OVn0346login:Penguin
02/07/19 23:23ID:W906XYYphttp://2ken.net/namazu.cgi
0347login:Penguin
02/07/20 01:05ID:RZHWY+0Cいったん rpm 消して入れ直せば?
0348login:Penguin
02/07/20 22:52ID:JNErfAQQ0349login:Penguin
02/07/26 10:44ID:5MbssHQh自宅でサーバー立ててる人とかってさー
namazu何に使ってんの?
なんかおもしろい使い方ってある?
0350名無しさん@Emacs
02/07/26 11:24ID:QxusWSJk日記検索
0351login:Penguin
02/09/04 13:04ID:+A/E5ACP0352login:Penguin
02/09/04 14:15ID:RLmpKL5PDBですれ。
0353login:Penguin
02/09/22 12:59ID:nEa4cqUashスクリプトとか欲しいのに。
0354login:Penguin
02/09/22 13:13ID:N4s7ITeihttp://2ken.net/settei/linux.sh
これだろう。でもわざわざこれを取得しなくてもこのスレに書かれてるのと同じだと思うが。
但し、今はdatディレクトリが見れないからこれでは動作しないと思う。
あと3行目の set | grep LANG は不要だと思う。ここでgrepしてどうする・・
0355名無しさん@Emacs
02/10/03 02:45ID:tCrncUsf/usr/lib/mozilla/searchplugin/Googlejapan.src に
ちょっと変えてこんなんを作ってみた。
# Mozilla/2chSearch plugin
<search
name="2ch search"
description="2ch search"
method="GET"
action="http://2ch.dyn.to/cgi-bin/namazu.cgi"
queryEncoding="2561"
queryCharset="Shift_JIS"
>
<input name="key" user>
<input name="whence" value="0">
<input name="lr" value="lang_ja">
<input name="dbname" value="all">
<input name="max" value="20">
<input name="sourceid" value="mozilla-search">
<interpret
charset = "Shift_JIS"
resultEncoding = "2561"
resultListStart="<!--a-->"
resultListEnd="<!--z-->"
resultItemStart="<!--m-->"
resultItemEnd="<!--n-->"
>
</search>
0356login:Penguin
02/11/01 10:53ID:SkScjhB+検索対象は日本語のテキストファイル(含む LaTeX ソース、メール、ニュース)なのですが、
検索後として日本語を指定することがほとんどありません。
そこでインデックスを作る際に日本語は省いてしまいたいと思っています。
mknmzrc はどのように設定するといいのでしょうか?
現在は kakasi, chasen 共に使用できるようになっています。
あと、メールやニュースの Message-ID, In-Reply-To, References: フィールド以下の
文字列に対しては、メッセージ ID そのままの状態でインデックスに含めたいのですが、
可能でしょうか?
つまり、検索文字列としてメッセージIDを指定したいことがあるということです。
0357356
02/11/01 11:31ID:SkScjhB+で望む結果が得られ多っぽいです。
chasen のマニュアルによると
%?U/STR1/STR2/
っての 『if unknown word, STR1, otherwise, STR2』 ってことなのですが、
UNKNOWN ってのは辞書に無いってことですよね?
てことは chasen の辞書に英単語が載っていたらだめなんだな。
0358356
02/11/01 11:32ID:SkScjhB+メールの Subject: の日本語(BASE64エンコードされている) が、
デコードされててちょっと感動した。
0359独自フィルタを作りたい
02/11/02 12:11ID:0CRm6865〜 Namazu 2.0 用 〜
http://www.namazu.org/~kenji/dekiru-namazu-filter.txt
ほかに参考になるサイトはありますでしょうか?
0360独自フィルタを作りたい
02/11/02 12:19ID:0CRm6865実験結果のファイルがあって、それには実験の条件が書き込まれているので、
Word や Excel 文書の「文書のプロパティ」みたいな扱いができればと。
使用している OS は Debian GNU/Linux 3.0 (woody) です。
いくつかのフィルタを読んでみたところ、フィルタの側ではとにかく可能な限り、
フィールドの情報を抽出して返しているように思います。
フィールド名などもフィルタのほうで勝手にいくらでも作ることができるみたいです。
どのフィールドをインデックスに採用するかというのは、
フィルタから返された情報を見て mknmz が決定するのでしょうか?
0361独自フィルタを作りたい
02/11/02 12:25ID:0CRm6865誰がどうやっていつ指定しているか、ってことなんですが。
0362独自フィルタを作りたい
02/11/02 12:35ID:0CRm6865http://www.namazu.org/ml/namazu-devel-ja/msg02065.html
全文検索 Namazu 講座
http://www.rfs.jp/server/namazu/02.html
$REMAIN_HEADER
RFC 822 Header などのうち本文として検索出来るものを指定
$SEARCH_FIELD
フィールド検索(「+subject: 検索語」のような形式)に使える項目を指定する
$META_TAGS
検索対象にするMETAタグを指定
%FIELD_ALIASES
メール見出名の置換ルール
フィールド検索に関係しそうな mknmzrc の変数というと、これくらいでしょうか?
どのフィルタがどの設定項目を見ているのか、これからフィルタを読んでみます。
0363独自フィルタを作りたい
02/11/02 12:45ID:0CRm6865$REMAIN_HEADER → mailnews.pl が見ている
$META_TAGS → html.pl が見ている
$SEARCH_FIELD と %FIELD_ALIASES は mknmz 本体だけが見ている?
(まぁ conf.pl でデフォルト値を設定しているのは別として)
うむ〜 NMZ.field.* 出力している部分をよんでみまつ・・・
0364独自フィルタを作りたい
02/11/02 15:33ID:0CRm68652)%FIELD_ALIASES を使ってフィールド名を変換
%FIELD_ALIASES は
キー = フィルタから返ってくるフィールド名
値 = インデックスに登録するときのフィールド名
3)フィールド名が SEARCH_FIELD にあるものは NMZ.field.<フィールド名> に出力
META_TAGS を使うようオプションで指定されていたときは
SEARCH_FIELD だけでなく META_TAGS にあるものも対象。
ってことか・・・・ちょっと気持ち悪いのは、なぜか mailnews.pl では
メールヘッダの Subject: の内容を 'title' フィールドとして返しておいて、
mknmz 本体でわざわざ 'title' -> 'subject' への別名置き換えをやってるところ。
だったらはじめから mailnews.pl で $fields->{'subject'} = $line とかすればいいのに。
0365独自フィルタを作りたい
02/11/02 15:35ID:0CRm6865my とか local ってなに?
perl の名前空間ってどうなってんの?
@ とか % とか \ とか $ とかなに?
ってとこからはじめたんで、ちゃんとソース読めてないかもしれない・・・
0366login:Penguin
02/11/03 02:13ID:RjWYQ8zVこれのフォーマット分かる方おられませんか?
フィルタかいてみようかとおもったんですが、
MH 形式とはちょっと違うみたいです。
いらないバイナリデータがあちこちにちりばめられていて。
確かにテキスト部分は一部読めるんですが。
0367login:Penguin
02/11/03 02:26ID:RjWYQ8zVConverter for Microsoft Outlook 2000 (TM) .msg files
http://www.brodo.de/english/pub/msg2a/
Matijs van Zuijlen has written a Perl scriptwhich does convert Microsoft Outlook .msg files to mbox format.
He found out that the file format is OLE-compatible.
This script uses many Perl modules to extract the information,
but you should be able to find all Perl Modules either in your favourite Linux distribution, or at CPAN.
You can find his program (License: GPL), as well as documentation,
at http://www.xs4all.nl/~mvz/software/msgconv.html .
■ このスレッドは過去ログ倉庫に格納されています