【Perl】ファイルロック(排他処理)について語ろう
■ このスレッドは過去ログ倉庫に格納されています
0001nobodyさん
02/06/23 10:18ID:eY2l+Gw10066fusianasan
02/06/26 20:08ID:???リネームに成功したかどうか、結果を確認できていない。
もしAというプロセスが10分以上前と判断した状態でプロセスを次に渡して、
Bというプロセスがリネームまで成功してCというプロセスが$lockdir2を作って
しまったら、Aというプロセスもリネームできてしまいロックできないのでは?
0067「このサイトの人」
02/06/26 22:17ID:uIGx/rWAなるほど。rename失敗までは考えていませんでした。
となると、プロセスAが$lockdir2を作り、かつrename失敗すると、
古い$lockdirと $lockdir2と両方が残りますね。デッドロックには
なりますが、次のプロセスは入って来れないんじゃないでしょうか?
「$lockdir2を消す」「$lockdirの作成時間を変える」をrenameで
いっぺんに行ってますが、$lockdir2 が消え$lockdirが更新されな
い、というrename失敗はあり得ますか?
あるいは、rename失敗時にはアトミックではなくなるとか?
0068fusianasan
02/06/26 22:39ID:???わかった?
プロセスA:作成時間が10分以上前と判断して処理を次へ渡す
プロセスB:作成時間が10分以上前と判断してリネームまで成功
プロセスC:$lockdir2を作成後、作成時間が10分以上前ではないからはじかれる
プロセスA:$lockdir2が存在するからリネーム成功
0069fusianasan
02/06/26 22:47ID:???勿論、作成時間が10分以上前ではない場合に削除する処理になってはいるが
これもまた削除する前に処理を次へ渡してしまう可能性もあることを念の為に。
0070nobodyさん
02/06/26 22:59ID:???/ ヽ\
/ ヽ \ / \
/ ヽ \__ / ヽ \
/ ‐_ ヽ ―――__/ ヽ \
/  ̄ / __ ヽ \
|  ̄ \
| |
| || |
| ゝ_ |||/ |
| ( ・ ブ ゝ__ ┃ ┃ |
|  ̄ ( ・ ̄ ̄ ブ ┛ ┗ |
| ゝ__ ノ ━┓ ┏ | ┃ ┃
| __  ̄ ┃ | ┃ ┃
| | ̄ ̄ーヽ | ┃ ┃
| | ヽ |
| | |ヽ | ━┓
\ _⊥_ | | ┃┛
\  ̄ ̄ヽ_⊥ | ┏━┓
\ | ┏┛
\ / ・
0071「このサイトの人」
02/06/26 23:51ID:uIGx/rWAあれ?
>プロセスA:作成時間が10分以上前と判断して処理を次へ渡す
と
>プロセスA:$lockdir2が存在するからリネーム成功
の間には他のプロセスは割り込めませんよ。
リネームを試みる前には$lockdir2がプロセスB等他を弾きます。
プロセスAがリネームを試みるのは一度だけ。
●作成時間が10分以上前の場合
プロセスA:ロックディレクトリ1に阻まれる(排他される)
プロセスA:ロックディレクトリ2を作成(排他)
プロセスA:作成時間が10分以上前と判断
プロセスA:$lockdir2が存在するからリネーム(ロックディレクトリ2をロックディレクトリ1に変換)(排他終了)
→プロセスBが割り込めるとしたらここだけ。しかもリネームが失敗した場合。
プロセスA:そのままロックに守られ排他が必要な処理
プロセスA:ロックディレクトリ1を消す
で、$lockdir2 が消え$lockdirが更新されない、というrename失敗
(こんなのあるの?)の場合だけプロセスBが割り込めます。
●作成時間が10分以上前ではない場合
プロセスA:ロックディレクトリ1に阻まれる(排他される)
プロセスA:ロックディレクトリ2を作成(排他)
プロセスA:作成時間が10分以上前でないと判断
プロセスA:ロックディレクトリ2を削除(排他終了)
プロセスA:&error("BUSY")でプロセス終了
0072nobodyさん
02/06/27 12:25ID:???/ ヽ\
/ ヽ \ / \
/ ヽ \__ / ヽ \
/ ‐_ ヽ ―――__/ ヽ \
/  ̄ / __ ヽ \
|  ̄ \
| |
| || |
| ゝ_ |||/ |
| ( ・ ブ ゝ__ ┃ ┃ |
|  ̄ ( ・ ̄ ̄ ブ ┛ ┗ |
| ゝ__ ノ ━┓ ┏ | ┃ ┃
| __  ̄ ┃ | ┃ ┃
| | ̄ ̄ーヽ | ┃ ┃
| | ヽ |
| | |ヽ | ━┓
\ _⊥_ | | ┃┛
\  ̄ ̄ヽ_⊥ | ┏━┓
\ | ┏┛
\ / ・
0073nobodyさん
02/06/27 12:36ID:???/ ヽ\
/ ヽ \ / \
/ ヽ \__ / ヽ \
/ ‐_ ヽ ―――__/ ヽ \
/  ̄ / __ ヽ \
|  ̄ \
| |
| || |
| ゝ_ |||/ |
| ( ・ ブ ゝ__ ┃ ┃ |
|  ̄ ( ・ ̄ ̄ ブ ┛ ┗ |
| ゝ__ ノ ━┓ ┏ | ┃ ┃
| __  ̄ ┃ | ┃ ┃
| | ̄ ̄ーヽ | ┃ ┃
| | ヽ |
| | |ヽ | ━┓
\ _⊥_ | | ┃┛
\  ̄ ̄ヽ_⊥ | ┏━┓
\ | ┏┛
0074nobodyさん
02/06/27 14:32ID:???/ ヽ\
/ ヽ \ / \
/ ヽ \__ / ヽ \
/ ‐_ ヽ ―――__/ ヽ \
/  ̄ / __ ヽ \
|  ̄ \
| |
| || |
| ゝ_ |||/ |
| ( ・ ブ ゝ__ ┃ ┃ |
|  ̄ ( ・ ̄ ̄ ブ ┛ ┗ |
| ゝ__ ノ ━┓ ┏ | ┃ ┃
| __  ̄ ┃ | ┃ ┃
| | ̄ ̄ーヽ | ┃ ┃
| | ヽ |
| | |ヽ | ━┓
\ _⊥_ | | ┃┛
\  ̄ ̄ヽ_⊥ | ┏━┓
\ | ┏┛
\ / ・
0075nobodyさん
02/06/27 17:02ID:???0076nobodyさん
02/06/27 17:20ID:???/ ヽ\
/ ヽ \ / \
/ ヽ \__ / ヽ \
/ ‐_ ヽ ―――__/ ヽ \
/  ̄ / __ ヽ \
|  ̄ \
| |
| || |
| ゝ_ |||/ |
| ( ・ ブ ゝ__ ┃ ┃ |
|  ̄ ( ・ ̄ ̄ ブ ┛ ┗ |
| ゝ__ ノ ━┓ ┏ | ┃ ┃
| __  ̄ ┃ | ┃ ┃
| | ̄ ̄ーヽ | ┃ ┃
| | ヽ |
| | |ヽ | ━┓
\ _⊥_ | | ┃┛
\  ̄ ̄ヽ_⊥ | ┏━┓
\ | ┏┛
\ / ・
0077nobodyさん
02/06/27 20:25ID:???\∧_ヘ / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
,,、,、,,, / \〇ノゝ∩ < 1000取り合戦、いくぞゴルァ!! ,,、,、,,,
/三√ ゚Д゚) / \____________ ,,、,、,,,
/三/| ゚U゚|\ ,,、,、,,, ,,、,、,,,
,,、,、,,, U (:::::::::::) ,,、,、,,, \オーーーーーーーッ!!/
//三/|三|\ ∧_∧∧_∧ ∧_∧∧_∧∧_∧∧_∧
∪ ∪ ( ) ( ) ( ) )
,,、,、,,, ,,、,、,,, ∧_∧∧_∧∧_∧ ∧_∧∧_∧∧_∧∧_∧
,,、,、,,, ( ) ( ) ( ) ( )
0078「このサイトの人」
02/06/28 01:42ID:lpc8XUFVとりあえず結論出しておきます。
rename失敗の殆どの場合、何も起こらなかった、つまり古いロック
1とロック2 が両方残ることになるでしょうから、その時には他のプ
ロセスが侵入することはありません。
万一、ロック2が消え古いロック1が残ると排他は失敗しますが、そ
の場合、ロック2のディレクトリが消失したか、違う名前にrenameさ
れたことになりますね。ファイルシステムのエラーによって、絶対
起こらない事とは言えませんが、そこまで考慮する必要があるのか
どうかは疑問。
疑問ではありますが、あえて考慮するなら、上記のわたしの排他制
御で、
rename($lockdir2, $lockdir) or &error("LOCK ERROR");
として、rename失敗したプロセスを、その時点で終了させることに
すれば問題なくなります。
ごく稀にロック2が残る可能性は残りますが、ロック1が残る可能性
より低いのですから、残存ロック削除機能付きの排他方法として、
それなりに使えるのではないかと。
では。
0080nobodyさん
02/06/29 07:01ID:???∧∧
|\ <ヽ`∀´> /|
ヾ  ̄ ̄ ̄ ̄ ̄  ̄ ̄ ̄ ̄ ̄ ̄ ̄ /
 ̄ ̄ ̄ ̄ ̄ ̄| | ̄ ̄ ̄ ̄ ̄ ̄ ̄
| |
/ ̄ ̄ ̄ ̄\/ ̄ ̄ ̄ ̄ ̄\
__/ / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄\ .\__ ドドン!!
___<__)__________ (__>___
0081nobodyさん
02/06/29 07:19ID:???改行しないヤシまでいるし。
0082nobodyさん
02/06/29 17:52ID:6eV+0rAgOSってどれくらいあるのよ? まさかWindows9xをWebサーバ
にするって話なの?
0083&r
02/06/29 17:56ID:???UNIX系にも一部あるそうですが…。
0084nobodyさん
02/06/29 18:19ID:/fhUzoY0サーバって、flockが効かなかったりするわけ。
0085nobodyさん
02/06/29 21:11ID:Nqaw2LrM0086nobodyさん
02/06/30 00:13ID:naYSzTIEhttp://www.rim.or.jp/support/guide/homepage/cgi/index2.html
0087nobodyさん
02/06/30 00:20ID:???どうしても移植性を持たせたいならconfigure/Makefile.PLでもつければ良い。
0088nobodyさん
02/06/30 04:05ID:???多い印象がありますが。
0089nobodyさん
02/06/30 04:45ID:???素人が設置する事の多いアクセスカウンターや掲示板やチャットなら、
flockが使えるかどうかなんて気にせずに、どこでも使えるロックファイル式
にしたいな。
0090nobodyさん
02/06/30 05:37ID:???1 symlink
2 mkdir
3 flock
4 rename
0091nobodyさん
02/06/30 07:57ID:YjReV7q7選択肢を増やしても、素人さんがつかうときに迷うだけじゃないの?
選ぶ基準はなに?
0092nobodyさん
02/06/30 10:18ID:???本当にそんな強固なファイルロックが必要なのかと…
そんだけアクセスあるんかいと…
ログが壊れてもそこそこのバックアップで復旧できるレベルの
CGIじゃないんかと…
0093nobodyさん
02/06/30 11:01ID:???0094nobodyさん
02/06/30 16:11ID:???flockが必ずエラーになるとか全く機能しないなら簡単だけど、
以前の@niftyでは、flockが「突然」壊れるって症状だったので、
自動判別は難しいかも。flockしたサーバと違うサーバで動く
プロセスがだめなのかな?
NFSなのかラウンドロビンなのかその他の複数サーバシステムなのか、
CGI側で判別できましたっけ。
@niftyは最近サーバがZeusに変わって、今の所flock使えてますが。
0095nobodyさん
02/06/30 16:49ID:???ここはわざわざスレッド建てないとファイルロックが解らない馬鹿共の集うスレ
0096nobodyさん
02/06/30 18:12ID:???単にファイル読みこむだけならロックしなくても大丈夫ですよね?
0097nobodyさん
02/06/30 18:33ID:???つーかflockもsymlinkも使えない鯖なんてそう無い
Windows鯖使ってるところなんて・・
0098nobodyさん
02/06/30 19:16ID:???だ か ら 、 あ る ん だ っ て ば 。
symlinkは大抵つかえると思うけど。
>>93
それってルーチンに組み込むってこと?そりゃマズーじゃない?(毎回余計な処理が増える)
チェック用CGIを添付しといて先にチェックしてもらうのいいかも。
汎用性考えるとmkdirをデフォルトにしとくのがいいと思う。mkdirできない鯖ってない・・でしょ?
0102nobodyさん
02/06/30 21:12ID:???0103japh ◆J.5V8ta6
02/06/30 21:29ID:???別のプロセスが書き込んでる最中に読むと、
壊れたデータを読む羽目になることがある
それを防ぐのが共用ロック:
use Fcntl qw(:flock);
open IN, "foofile" or die "ファイルが開けませんな($1)";
flock IN, LOCK_SH | LOCK_NB or die "誰かが書き込んでいる最中ですな($1)";
0106nobodyさん
02/06/30 23:00ID:???0107nobodyさん
02/07/01 01:23ID:???open(ONE, "> one.lock");
flock(ONE, 3);
open(TWO, "> two.lock");
flock(TWO, 2);
print TWO "two";
close(TWO);
print ONE "one";
close(ONE);
↑こんな感じに
0108nobodyさん
02/07/01 01:41ID:???それでロックしてるの? もっと基本から確認してみては?
0111nobodyさん
02/07/01 02:27ID:???おまえも気づけYO!
0112nobodyさん
02/07/01 22:52ID:???http://tako.2ch.net/test/read.cgi?bbs=perl&key=963036704&st=33
0113nobodyさん
02/07/02 12:38ID:3nOaRL0G0114nobodyさん
02/07/02 17:44ID:???http://natto.2ch.net/perl/kako/963/963036704.html
0115nobodyさん
02/07/04 16:41ID:???・・・と煽ろうと思ったら,レベルの低いスレだったのね.失礼.
0116Hideki ◆wtRzKEV2
02/07/09 09:11ID:???3秒で消し去るのって問題ありでしょうか?
とほほとか見て作ってみたんですけど指摘があればお願いします。
(my $mode, my $file, @_) = @_;
while(!mkdir("$file.lock", 0755))
{
sleep(1);
rmdir "$file.lock" if(time - (stat "$file.lock")[9] > 3);
}
open(DATA, "$mode$file");
print DATA @_;
close DATA;
return rmdir "$file.lock";
0117Hideki ◆wtRzKEV2
02/07/09 09:12ID:???0118nobodyさん
02/07/09 09:31ID:zyHRUAZm始めて裁判見てきたけど、ひろゆきって2chでの中傷について、「おいらは第三者だもんねー」ってな主張してたけど、裁判官に一喝されてた。
どうもひろゆきが企業の中傷を禁止してないことと、削除依頼を自分の意思で突っぱねたことで、当事者と判断されてる感じ。
でも裁判官も他の掲示板と2chは同じには扱っていないみたいだったから、他の掲示板には影響ないと思うけど。
それにしても、ひろゆきの顔はイベント板のタイトルに使ってる写真と全然違うのに驚いた。
あの写真は「勝負写真」なんだろうけど、あれじゃ詐欺だよ。
実物は深海魚みたいな顔だった。
0120Hideki ◆wtRzKEV2
02/07/09 18:23ID:upY+9e5f0121nobodyさん
02/07/09 18:54ID:???指摘する前に質問させてくれ。
これはソースの一部分か? どうみても独立したソースじゃないよな。
なぜファイルロックにmkdirが有効なのか理解できてるのか?
0122Hideki ◆wtRzKEV2
02/07/09 20:00ID:upY+9e5fみたいに渡す構成です。
mkdirを使えば
-> OS処理なので2つのプロセスが両方とも実行ができない。(Windows, UNIXで使える)
-> mkdir以下のコードはひとつのプロセスが実行する保証が得られる
-> mkdirできない間(rmdirが実行されるまで)は他のプロセスは待つ
-> mkdirできれば、ファイルを書きに行く。
-> もし異常終了か何かでロックディレクトリーが残っていれば3秒以上経った物は不正なロックとして強制削除。ファイルを書きに行く。
という構成で書いたのですが、どこら辺が話にならないのでしょうか?説明お願いします。
0123nobodyさん
02/07/09 20:14ID:???ファイルロックを実行して、目的のファイルデータを読み書きするのに要する
時間は処理の混み具合によっては3秒以上かかる可能性もある。もし3秒以上
処理にかかったら他のプロセスにデータを壊される可能性あり。
ファイルロック以外の部分でも書き込み途中でシステムがダウンしたらデータが
壊れる可能性もある。
0124Hideki ◆wtRzKEV2
02/07/09 20:56ID:???秒数で攻めたらいたちごっこですね。
壊す危険を冒すよりは、書き込みを中止する方がいいかもしれませんね。
> 途中でシステムがダウンしたら
そりゃopen後書き込む前に刺さりゃー、何のロックしても無駄ってヤツだ。
0125nobodyさん
02/07/09 22:36ID:???Hideki ◆wtRzKEV2 を叩くスレはここ?
0127nobodyさん
02/07/09 23:05ID:???そう思うならそれで良い、どれだけデータの安全と整合性を保障したいかだから。
そう言う人が秒間50アクセスのDBを管理するなんて事も珍しいでしょうし。
取り合えず
statの取得とrmdirがシステムコールレベルでアトミックになされる保障は
何処にも無い。
消そうとするロックディレクトリが正常かどうかの判断が出来ていない。
よって
>rmdir "$file.lock" if(time - (stat "$file.lock")[9] > 3);
この行は有っても無くても同じ
0128nobodyさん
02/07/09 23:07ID:???基本的に動作と確認が一発で出来る様な
アトミックなシステムコールを使わなきゃ駄目です。
ifで調べてから、動作なんてその間一万年掛かるかも知れないし
0129Hideki ◆wtRzKEV2
02/07/10 00:11ID:???0130nobodyさん
02/07/10 00:16ID:???0131Hideki ◆wtRzKEV2
02/07/10 00:22ID:???同次元の突込みが無いので自分のためのスクリプトしては問題は無いと思った。
つーか、てめーはだれだ!ププッじゃねぇぞ、コルゥァ!
>> 途中でシステムがダウンしたら
>そりゃopen後書き込む前に刺さりゃー、何のロックしても無駄ってヤツだ。
この考え方からしてまだまだだよな。元データを壊さない工夫がないって言い
たかったのに…。
0133Hideki ◆wtRzKEV2
02/07/10 00:35ID:???そうです。まだまだこれからです。まだ若いので。
おおー。まだいるんか。
も1つヒントというか助言だが、mkdir より symlink または rename が
いいと思うぞ。なぜかと言うと mkdir より軽いからだ。なぜ軽いかというと
ファイルシステムを勉強すればわかる。
ただし、symlink は環境によっては使えないから rename を使ったほうがい
いということだ。
最後に、プロは完璧に近いものをストックとしていくつかもっているけど
ここじゃ披露する気にはなれないということを言っておこう。
0135nobodyさん
02/07/10 00:49ID:???0136nobodyさん
02/07/10 00:49ID:???0137nobodyさん
02/07/10 00:49ID:???0138nobodyさん
02/07/10 00:50ID:???0139nobodyさん
02/07/10 00:53ID:???http://www2q.biglobe.ne.jp/~terra/cgi/lockfile.htm
ユーモアのあるページだなぁ。この人は基本的な関数の実行結果の真偽を
使うことも知らないのか…。
こういうページが氾濫しては…。
0141nobodyさん
02/07/10 02:06ID:???dat 落ち前に読んでおけ
http://pc.2ch.net/test/read.cgi/sec/1025671013/349-
0142nobodyさん
02/07/10 02:35ID:???0144nobodyさん
02/07/10 03:04ID:???ブログラマにはギャグセンスも必要っと φ(。。) メモメモ
0146nobodyさん
02/07/10 10:54ID:???(゚Д゚)ハァ? >>142が言ってるのはファイルに直接アクセスなんかしないで
排他処理が元からきちっと実装されてるDBMS使えってことだろ。
まあDBMSが使えるサーバなんて限られてるしこのスレ的にはスレ違いだとは思うが。
0147nobodyさん
02/07/10 15:23ID:???MySQLやらPostgreSQLが〜となるとたしかにアレだろうけど、
BerkleyDB とかなら OS 標準で入っていることも非常に多いし、
Perl からでも使えるしナー。
0148115
02/07/10 16:43ID:???> テーブルの真中には大きなスパゲティの皿が置いてあります.
> またN本のフォークがあって哲学者と哲学者の席の間に置いてあります.
> 哲学者は思索を続けていますが,お腹がすくと両側のフォークを取って
> スパゲティを食べます.お腹が一杯になると食べるのを止めてフォークを返します.
> 哲学者は紳士ですから,お腹が空いていても両方のフォークが手に入るまでは待ちます.
これか。このスレとは微妙に方向性が違うような。
0152nobodyさん
02/07/10 18:38ID:???MySQL が BerkleyDB の機能を使ってトランザクションを実現
しているくらいなのに、lock やってないわけなかろ。いつの
version の話してるの?
http://www.sleepycat.com/docs/reftoc.html
http://www.sleepycat.com/docs/ref/lock/intro.html
見て出直してこい。ちなみにこの document は 4.0.14 のだけど、
3.x のころからしっかり lock subsystem がある。
0153nobodyさん
02/07/10 21:53ID:???OS標準で入ってるつーと
http://www.freebsd.org/cgi/cvsweb.cgi/src/lib/libc/db/README?rev=1.1&content-type=text/x-cvsweb-markup
とかVer 1だろ。
perlのDB_Fileで2や3も使えるけど、インターフェースは1でサポートされてる部分しか使えねーはずだが。
0154nobodyさん
02/07/11 02:02ID:???http://search.cpan.org/search?dist=BerkeleyDB
使えば?
あと、FreeBSD では完全に標準な状態ではたしかにそうだけど、ふつう
ports で 3.x が入ってくるし、Debian でも完全に標準では 2.x でふつう
3.x、RedHat では完全に標準で 3.x が入る
0155nobodyさん
02/07/11 04:50ID:???それなら車輪の再発明は止めて最初からDBMSを使うべきというのは
反論しようのない正論。しかも、リソースのありかまで教えてくれているし。
ただ、こういう極めて的確な回答があると、この手のスレはつまらなくなるね…。
0157nobodyさん
02/07/11 09:23ID:???0158nobodyさん
02/07/11 11:11ID:???0159nobodyさん
02/07/11 16:21ID:???0160nobodyさん
02/07/11 21:02ID:???0161nobodyさん
02/07/12 18:11ID:???# 排他処理をしたいです。
# ローカル環境(WindowsMe+Apache+Cygwin付属のPerl)では成功するのですが、
# サーバで実行するときには、必ず失敗します(エラー表示部が実行されます)。
# もし落ち度がありましたらご教授ください。以下要所の抜粋です。
sub create_lock {
my ($lockfile, $retry) = @_;
while (!mkdir($lockfile, 0755)) {
if (--$retry <= 0) {
return undef;
}
sleep(1);
}
return 1;
}
sub remove_lock {
my ($lockfile) = @_;
rmdir($lockfile);
}
#上記関数の利用例
my $lock_handle = &create_lock("./lockfile", 5);
if (not $lock_handle) {
&print_error($resource{writedatafailed});
}
#ここで処理する
&remove_lock($dir_lock);
0162nobodyさん
02/07/12 19:10ID:???ディレクトリに書き込み権限がない。
既にロックされている(./lockfileが存在する)。
のどちらか。
&create_lock("./lockfile", 5);
と
&remove_lock($dir_lock);
のファイル名が…
0163nobodyさん
02/07/12 19:38ID:???ご指摘ありがとうございます。(;ワ;)
今夜さっそくディレクトリの書き込み権限のチェックをしてみます。
えーと、下の $dir_lock は貼り付け時に直し忘れました(^^;)
混乱させてしまったようで、すみません。
あとでまた結果報告しにきます。
0165nobodyさん
02/07/18 03:33ID:???open(OUT, "+< outfile.txt");
flock(OUT, 2);
truncate(OUT, 0);
seek(OUT, 0, 0);
print OUT "........";
close(OUT);
の欠点を教えてください。
お願いします。
■ このスレッドは過去ログ倉庫に格納されています