【Perl】ファイルロック(排他処理)について語ろう
■ このスレッドは過去ログ倉庫に格納されています
0001nobodyさん
02/06/23 10:18ID:eY2l+Gw10146nobodyさん
02/07/10 10:54ID:???(ﾟДﾟ)ﾊｧ? >>142が言ってるのはファイルに直接アクセスなんかしないで
排他処理が元からきちっと実装されてるDBMS使えってことだろ。
まあDBMSが使えるサーバなんて限られてるしこのスレ的にはスレ違いだとは思うが。
0147nobodyさん
02/07/10 15:23ID:???MySQLやらPostgreSQLが～となるとたしかにアレだろうけど、
BerkleyDB とかなら OS 標準で入っていることも非常に多いし、
Perl からでも使えるしナー。
0148115
02/07/10 16:43ID:???> テーブルの真中には大きなスパゲティの皿が置いてあります．
> またN本のフォークがあって哲学者と哲学者の席の間に置いてあります．
> 哲学者は思索を続けていますが，お腹がすくと両側のフォークを取って
> スパゲティを食べます．お腹が一杯になると食べるのを止めてフォークを返します．
> 哲学者は紳士ですから，お腹が空いていても両方のフォークが手に入るまでは待ちます．
これか。このスレとは微妙に方向性が違うような。
0152nobodyさん
02/07/10 18:38ID:???MySQL が BerkleyDB の機能を使ってトランザクションを実現
しているくらいなのに、lock やってないわけなかろ。いつの
version の話してるの?
http://www.sleepycat.com/docs/reftoc.html
http://www.sleepycat.com/docs/ref/lock/intro.html
見て出直してこい。ちなみにこの document は 4.0.14 のだけど、
3.x のころからしっかり lock subsystem がある。
0153nobodyさん
02/07/10 21:53ID:???OS標準で入ってるつーと
http://www.freebsd.org/cgi/cvsweb.cgi/src/lib/libc/db/README?rev=1.1&content-type=text/x-cvsweb-markup
とかVer 1だろ。
perlのDB_Fileで2や3も使えるけど、インターフェースは1でサポートされてる部分しか使えねーはずだが。
0154nobodyさん
02/07/11 02:02ID:???http://search.cpan.org/search?dist=BerkeleyDB
使えば?
あと、FreeBSD では完全に標準な状態ではたしかにそうだけど、ふつう
ports で 3.x が入ってくるし、Debian でも完全に標準では 2.x でふつう
3.x、RedHat では完全に標準で 3.x が入る
0155nobodyさん
02/07/11 04:50ID:???それなら車輪の再発明は止めて最初からDBMSを使うべきというのは
反論しようのない正論。しかも、リソースのありかまで教えてくれているし。
ただ、こういう極めて的確な回答があると、この手のスレはつまらなくなるね…。
0157nobodyさん
02/07/11 09:23ID:???0158nobodyさん
02/07/11 11:11ID:???0159nobodyさん
02/07/11 16:21ID:???0160nobodyさん
02/07/11 21:02ID:???0161nobodyさん
02/07/12 18:11ID:???# 排他処理をしたいです。
# ローカル環境(WindowsMe+Apache+Cygwin付属のPerl)では成功するのですが、
# サーバで実行するときには、必ず失敗します(エラー表示部が実行されます)。
# もし落ち度がありましたらご教授ください。以下要所の抜粋です。
sub create_lock {
my ($lockfile, $retry) = @_;
while (!mkdir($lockfile, 0755)) {
if (--$retry <= 0) {
return undef;
}
sleep(1);
}
return 1;
}
sub remove_lock {
my ($lockfile) = @_;
rmdir($lockfile);
}
#上記関数の利用例
my $lock_handle = &create_lock("./lockfile", 5);
if (not $lock_handle) {
&print_error($resource{writedatafailed});
}
#ここで処理する
&remove_lock($dir_lock);
0162nobodyさん
02/07/12 19:10ID:???ディレクトリに書き込み権限がない。
既にロックされている(./lockfileが存在する)。
のどちらか。
&create_lock("./lockfile", 5);
と
&remove_lock($dir_lock);
のファイル名が…
0163nobodyさん
02/07/12 19:38ID:???ご指摘ありがとうございます。（；ワ；）
今夜さっそくディレクトリの書き込み権限のチェックをしてみます。
えーと、下の $dir_lock は貼り付け時に直し忘れました（^^；）
混乱させてしまったようで、すみません。
あとでまた結果報告しにきます。
0165nobodyさん
02/07/18 03:33ID:???open(OUT, "+< outfile.txt");
flock(OUT, 2);
truncate(OUT, 0);
seek(OUT, 0, 0);
print OUT "........";
close(OUT);
の欠点を教えてください。
お願いします。
0167nobodyさん
02/07/18 13:34ID:???0169nobodyさん
02/07/18 14:56ID:???flock(OUT, 2);
seek(OUT, 0, 0);
print OUT "........";
truncate(OUT, tell(OUT));
close(OUT);
書き込みが終わってからtruncate()したほうが安全でちょっと速いみたい。
truncate(FILE, tell(FILE)) : 56 wallclock secs ( 8.21 usr + 39.26 sys = 47.47 CPU) @ 210.67/s (n=10000)
truncate(FILE, 0) 60 wallclock secs ( 8.43 usr + 42.72 sys = 51.15 CPU) @ 195.49/s (n=10000)
0170nobodyさん
02/07/18 15:36ID:???正確にはsyswriteするか$|=1してバッファ使わない様にした方が良いけど
0171nobodyさん
02/07/18 15:38ID:???前提が変なのに何をどうしたいのやら
0172nobodyさん
02/07/18 15:41ID:???0173fusianaｓan
02/07/18 16:45ID:???だれに言ってるんだ？ わたしの記憶が確かなら>>170に定数って書いてるYO!
0174nobodyさん
02/07/18 17:11ID:???( > ｖ<)ﾉ ﾀﾏﾝﾈｰ♪
0175nobodyさん
02/07/18 17:30ID:???0177nobodyさん
02/07/18 17:42ID:???0178nobodyさん
02/07/18 19:10ID:???0179nobodyさん
02/07/18 23:34ID:???0180nobodyさん
02/07/18 23:43ID:???漢字で書いたら一緒だけど。
ま、もう当分この板はこんな調子でしょ・・・。
0181nobodyさん
02/07/19 01:05ID:???0183nobodyさん
02/07/19 02:38ID:???他のプロセスとの関係とかあります？
0184nobodyさん
02/07/19 02:45ID:???>>1参照。
どんな環境でもつかえてっていうのが、このスレの主題。
flockは環境によってはつかえない。
flockつかえるなら、それでいい。
0185行番号でるかな
02/07/19 03:00ID:???01 open FH,"<./hoge";
02 my @hoge = <FH>;
03 close FH;
04 # @hogeを加工、比較的重い作業
05 open FH "+<./hoge";
06 flock (FH,2);
07 # 書き込み
2行目で配列に全部読み込んでいる、hogeの内容全部がオンメモリな状態。
今10個のプロセスが一斉に読み込みを行ったとする。
つまり10個のプロセス全てが同じ内容の@hogeを得る。
全てのプロセスが完了した時のhogeの内容はどれか一つの
プロセスの内容しか反映されて居ないだろう。
0186183
02/07/19 03:17ID:???どこかのサイトに読み込みオープンでもflockすべきだと
書いてあったのが気になっていたんですが、
そういう場合のことだったんですね。
ありがとうございました。
0187nobodyさん
02/07/19 14:05ID:???0188nobodyさん
02/07/19 15:23ID:H65klWUwこれじゃだめか？
0189nobodyさん
02/07/19 15:44ID:???まあ、可能性ははるかに低くなると思うが。
0191nobodyさん
02/07/19 19:14ID:g9uMB3Mk同じtimeでも唯一のプロセスしかロックできないから大丈夫でない？
1秒内にロックを解除しないままプロセスが死んだ時ってこと？
0192nobodyさん
02/07/20 21:32ID:???0193nobodyさん
02/07/25 16:40ID:Ong5dr5a１．ユニークなファイル名を作り書き込み。
２．指定のファイル名にrename
にしときなさいってこった。
0195nobodyさん
02/07/26 01:04ID:???書き込み中のプロセス事故死に対応して100点。
0197nobodyさん
02/07/26 03:55ID:???sub unlock{
省略
}
この構文の意味がわからんから教えてくれ
unlock関数とif文が何で一緒になってるんだ？
0198nobodyさん
02/07/26 05:36ID:???ちょっと聞いた奥さん教えてくれ！
ぷぷぷ
0200nobodyさん
02/07/26 11:19ID:???読み込み処理のときにはしなくてもいいんですか？
0202nobodyさん
02/07/26 13:35ID:NvB7dZaP＝
if($lockkey) {
&unlock;
}
0204nobodyさん
02/07/28 16:44ID:???それでもタイムアウトまでは待つのでは？
あ、正常な処理中にタイムアウトを超えてしまった場合が問題なのかな？
完璧を追求するのなら。
0205nobodyさん
02/07/29 14:41ID:???0206nobodyさん
02/07/29 14:47ID:???0208nobodyさん
02/07/29 15:15ID:???のページでロックの仕方が紹介されていたので使わせてもらおうと思いました。
で、「古いロックファイル（ディレクトリ）の削除」の項目にある、
$retry = 5; # リトライ回数セット
while (!mkdir($lockdir, 0755)) { # 作成。出来なければ待つ
if (--$retry <= 0) { # 5回ダメなら
if (mkdir($lockdir2, 0755)) { # ロックを消すための排他
if ((-M $lockdir) * 86400 > 600) { # 作成時間が10分以上前なら
# ロック入れ替え
rename($lockdir2, $lockdir) or &error("LOCK ERROR");
last; # 一連の処理へ
}else{ rmdir($lockdir2); } # 部分ロック削除
}
&error("BUSY"); # あきらめる
}
sleep(1); # 1秒待つ
}
一連の処理
rmdir($lockdir); # 削除
とりあえず、これ使っておけば大丈夫なんでしょうか。
２ちゃんねるみたいな同時アクセスが凄い場所でない限り。
0212nobodyさん
02/07/29 15:55ID:yLhb3gGL使ってるカウンター(Perl)見たら、
ロックファイル作成
↓
ファイル読み込み
↓
ロックファイル消す
↓
カウントUP
↓
ロックファイル作成
↓
ファイルに書き出し
↓
ロックファイル消す
といった流れになってたんだけど、初めのファイル読み込みの時にもロックは必要なの？
0215nobodyさん
02/07/29 16:32ID:???0221nobodyさん
02/07/29 22:13ID:???0222nobodyさん
02/07/29 22:15ID:???0225nobodyさん
02/07/30 09:03ID:???0226nobodyさん
02/07/30 09:52ID:???0227nobodyさん
02/07/30 11:37ID:???0228nobodyさん
02/07/31 23:34ID:EOzgSn6U0229nobodyさん
02/08/01 02:00ID:DTOpJumx①open直後
②print直後
③close
②、②～③でしょうか?
でもopenでクリティカルな場合に吹っ飛ぶこと考えると…①？
0230nobodyさん
02/08/01 03:58ID:???サーバの正常なタイムアウトなら、書き込みのシステムコールの
途中で止まったりしないでしょう。数回に分けて書き込んでたら、
止まるけど。サーバの容量制限に引っ掛かって止まる事もあるし。
>229
書き込むときに上書き(>)で開くと内容が消えるので、その直後に
止まったらアウト。
どうしてもログを守るんだったら、かならずtempファイルに書き
出して、書き込み成功を確認した後にrenameすることが必要。
ファイルサイズを計ってサイズが異様に小さいときは失敗だし、
内容をチェックすれば完璧。
これならrenameの瞬間に電源が切れるか、HDDがクラッシュする
くらいの事がなければ、壊れないはず。(バグは除く)
どのみち定期的なバックアップは必要かもね。
0232193
02/08/01 19:06ID:W9oFKOXJだから～。
処理ロックのファイルロックは当然かけておいて、
書き込み時はユニークファイル名に書き出してrename
ってこったよ。
0234nobodyさん
02/08/03 18:57ID:???>>1-233
この調子でがんばれ糞ども
0235228
02/08/03 20:27ID:npWjw1lcたまにログファイルが途中でぶち切れちゃうんです
ファイルアップありだから
でかいファイルをアップロードした時に
途中でタイムアウトするのかと思ったんですが
そうでもないんですね・・・
open(DB,"+<$logdir$log_d") || &error('ファイルエラー error_24');
flock(DB, 2);
my @lines=<DB>;
unshift (@lines,$thred);
seek(DB, 0, 0);
print DB @lines;
truncate(DB, tell(DB));
close (DB);
これ問題ないですよね？
なんでだろ・・・
flock使えない鯖なんでしょうか？
他に原因は考えられます？
0237228
02/08/04 07:59ID:xc+iopog50件ずつにログを区切ってるんで
読み込んでるのは
書き込み50件分のデータです
スレッドのタイトル一覧も表示しないといけないし・・・
0238228
02/08/04 08:03ID:xc+iopogflockが使えないんでしょうか？
それかtell(DB)の値がおかしくなることがあるのかな？
0239nobodyさん
02/08/04 12:11ID:???> seek(DB, 0, 0);
> print DB @lines;
> truncate(DB, tell(DB));
先頭にseekした後に、truncate(FH, tell(FH)) したら当然ファイルサイズ0に
なるわけだが。
0240230
02/08/04 12:57ID:???my @lines=<DB> or &error('読み込みエラー');
としてみては？
読み込んだ大きなファイルの方にメモリを食われてるのかもしれず。
システムコール(ここではファイル操作)は常に失敗の可能性を考えて
おいたほうがいいかと。flockやprintもね。
0241nobodyさん
02/08/04 13:14ID:???もうちょっと問題切り分けた方が良いよ
マルチパートだと思うんだけど、変なモジュールを使って
データ千切れちゃってるとか。
Niftyはflock空振りサーバの代名詞だけど大丈夫？
適当にsleepしてウェイトかけながらテストするとか
シグナル関係全部無視するとか
基本的に共用ならサーバからkillされる様な使い方は
間違ってると思うよ
もし自分のなら、さっさとコネクション切ってじっくりと作業すれば
良いだけなんだけど
サーバのBBSとかFAQは読んでる？
>>239
それは print ～ が有るから問題無い
と言う事で、一応。
0243nobodyさん
02/08/04 15:21ID:???0244228
02/08/04 21:59ID:etatASlj最初から書いとくべきだったんですが
説明を付け足すと
2chタイプの掲示板なんです
でログファイルへの書き込みはこの部分だけです
カウンターなんかも同じ方法で書き込みしてるんですが
それは飛んだことないんです
で、ログファイルへの書き込みが処理の最後の方なので
遅い回線でファイルアップした時にデータを送るのに
時間がかかり途中でCGIが止まる事があるのかな？
と考えてたのです（最後の方の処理のログファイルが影響受けやすいと）
でも、どういう条件でログが消えるのかは特定できてません
スレッド50件記録のうちの途中(全部じゃないです。例えば36件目とか）で
消えてしまいます（メッセージが途中までしかなかったり）・・・
（レスは別ファイルなのですが、そっちは消えません）
＞読み込んだ大きなファイルの方にメモリを食われてるのかもしれず。
そういう制限もあるんですね試してみます
＞もうちょっと問題切り分けた方が良いよ
でも、書き込みしてるのこの部分だけなんですよ
やっぱflockが使えなくて
他のプロセスの書き込み中のデータを読み込んでるとログが途中で消えますよね？
でも、カウンターは消えないんですよ・・・
（それともそのうち消えるんでしょうか？ファイルサイズが小さいから確率が低いだけ？）
＞サーバのBBSとかFAQは読んでる？
すいません、その辺、勉強してきます
■ このスレッドは過去ログ倉庫に格納されています