【Perl】ファイルロック(排他処理)について語ろう
■ このスレッドは過去ログ倉庫に格納されています
0001nobodyさん
02/06/23 10:18ID:eY2l+Gw100022
02/06/23 10:27ID:???0003nobodyさん
02/06/23 10:38ID:???／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣＼
∧＿∧ | 君さぁ こんなスレッド立てるから |
（ ´∀｀）＜ 厨房って言われちゃうんだよ |
（ ∧∧ つ ＞―――――――――――――――――――‐＜
( ﾟДﾟ) ＜ おまえのことを必要としてる奴なんて |
/つつ | いないんだからさっさと回線切って首吊れ |
＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿_／
(-＿-) ﾊﾔｸｼﾝﾃﾞﾈ…
(∩∩)
0004nobodyさん
02/06/23 10:45ID:???検索エンジンで調べればわらわら出てくるんですけど。
0005nobodyさん
02/06/23 11:15ID:eY2l+Gw10007nobodyさん
02/06/23 11:39ID:eY2l+Gw1ファイルロック関数flockを使用して対象のファイルを直接ロックする。
特徴
・速い。
・アンロックし忘れが無い。
・ファイル毎のロックに便利。
・処理全体をロックする場合には不向き。
・flockが使えない環境もある。
flock（ロック用ファイルをロック）
ファイルロック関数flockを使用して別途用意したロック用ファイルをロックする。
特徴
・速い。
・アンロックし忘れが無い。
・処理全体をロックする場合に便利。
・ロック用ファイルが常に残る。
・サーバーによってflockが使えない場合がある。
symlink
シンボリックリンク関数symlinkを使用してロック用のシンボリックリンクを作成し、 シンボリックリンクの有無によりロック状態を判断する。
特徴
・遅い。
・ロックしたままの状態（ロック用シンボリックリンク）が残る可能性がある。
・処理全体をロックする場合に便利。
・サーバーによってsymlinkが使えない場合がある。
mkdir
ディレクトリ作成関数mkdirを使用してロック用のディレクトリを作成し、 ディレクトリの有無によりロック状態を判断する。
特徴
・遅い。
・ロックしたままの状態（ロック用ディレクトリ）が残る可能性がある。
・処理全体をロックする場合に便利。
・どの環境でも使用できる。
0008nobodyさん
02/06/23 11:40ID:eY2l+Gw1http://www1.plala.or.jp/bagi/labo/lock.html
0009nobodyさん
02/06/23 11:47ID:???0010nobodyさん
02/06/23 11:48ID:???ファイルロック関数flockを使用して対象のファイルを直接ロックする。
特徴
・速い。
・アンロックし忘れが無い。
・ファイル毎のロックに便利。
・処理全体をロックする場合には不向き。
・flockが使えない環境もある。
flock（ロック用ファイルをロック）
ファイルロック関数flockを使用して別途用意したロック用ファイルをロックする。
特徴
・速い。
・アンロックし忘れが無い。
・処理全体をロックする場合に便利。
・ロック用ファイルが常に残る。
・サーバーによってflockが使えない場合がある。
symlink
シンボリックリンク関数symlinkを使用してロック用のシンボリックリンクを作成し、 シンボリックリンクの有無によりロック状態を判断する。
特徴
・遅い。
・ロックしたままの状態（ロック用シンボリックリンク）が残る可能性がある。
・処理全体をロックする場合に便利。
・サーバーによってsymlinkが使えない場合がある。
mkdir
ディレクトリ作成関数mkdirを使用してロック用のディレクトリを作成し、 ディレクトリの有無によりロック状態を判断する。
特徴
・遅い。
・ロックしたままの状態（ロック用ディレクトリ）が残る可能性がある。
・処理全体をロックする場合に便利。
・どの環境でも使用できる。
flock（対象ファイルを直接ロック）
ファイルロック関数flockを使用して対象のファイルを直接ロックする。
特徴
・速い。
・アンロックし忘れが無い。
0011nobodyさん
02/06/23 11:48ID:???0012nobodyさん
02/06/23 11:48ID:???とほほ 1999/03/30(火) 00:16:25
昔、UNIXのカーネルで飯を食っていました経験から判断すると・・・
(あくまでBSD系、SystemV系UNIXでの話です。NTは知らない。)
symlink, mkdir, flockはいずれも、ロックを『かける』ことに関して
は完璧。OSがちゃんと排他制御してくれる。
「symlinkで作られたファイルが在る状態でsymlinkを使う」って言う
のを、「symlinkが衝突する」と呼ぶのであれば、この「衝突」を検出
することによってロック権を奪ったか、奪えなかったかを判断している
のであり、衝突は正常動作の範囲。
symlinkとmkdirの違いは、mkdirだと、Windowsでも利用できるという
ことくらいしかない。信頼度は同じ。
ただし、symlink, mkdirはロックを『はずす』時に問題があり、ロッ
ク中にプロセスが異常終了したりすると、ロックファイルが残ったま
まになる。
その点、flockはロックを『はずす』時も完璧で、たとえプロセスが異
常終了しても、OSがストールしても、ロックが残ることは有り得ない。
信頼性ではsymlink, mkdirよりもflockの方が高い。ただしflockは、
UNIXでもサポートしていないOSがある。
しかし、flockでも(symlink, mkdirでも)ファイルが壊れることはあ
る。これは、ロック権を持ったプロセスが中途半端に書き込んでいる最
中に異常終了するなど、ロックとは無関係の原因で発生する。
もちろん、OSやperlのバグは考えていません。バグのことを考えても、
symlink, mkdir, flockのバグの発生頻度は同じようなものでしょう。
flock使えるんなら素直に使っとけ。
0013nobodyさん
02/06/23 12:31ID:???0015nobodyさん
02/06/23 13:10ID:???またまたぁ、そんなこといっちゃってー。
きみだって単発スレにレスしてるじゃん？コーディングスレあるだろ
0016nobodyさん
02/06/23 13:34ID:???そんなあなたも単発スレにレスしてるんじゃないの？コーディングスレあるだろ
0017nobodyさん
02/06/23 13:59ID:???http://www.jp.qmail.org/q103/jman5/maildir.html
> NFSの実装によっては信頼できるロックをまったく持っていません。
なんてのもあるし、lockdが刺さったらしいという経験もあるんで、どうしてもflockは避けちまう。
0019nobodyさん
02/06/23 17:37ID:eY2l+Gw1コレのロックっていいんですか?
0021nobodyさん
02/06/23 17:44ID:???0022nobodyさん
02/06/23 19:15ID:???0023nobodyさん
02/06/23 19:51ID:???・単発スレ＝スレが伸びればよし、伸びなければ自然消滅
区別しろよ。。。
ロック時に rename ってのはダメ？
if( rename( 元ファイル名， ロック中ファイル名 )){
処理・・・・
}
みたいなのは
002624
02/06/23 22:26ID:???ありがとう。mkdirやsymlinkはよく見かけるけど、renameってのは
みないから、おれが根本的になにか勘違いしてるのかと思ってました。
0028nobodyさん
02/06/24 01:46ID:???http://www.google.co.jp/search?q=rename+%E6%8E%92%E4%BB%96%E5%88%B6%E5%BE%A1&ie=UTF-8&oe=UTF8&hl=ja&lr=
ん？renameだって普通にそこらへんにあるよ？
0030nobodyさん
02/06/24 07:20ID:???0032nobodyさん
02/06/24 13:52ID:???特徴
・むちゃくちゃ遅い
・アンロックし忘れがない
・処理全体をロックする場合に便利
・どの環境でも使用できる
#Lock.pm
package Lock;
use strict;
use File::Spec;
sub new{
my($class, %opt) = @_;
my %lfh = (
dir => ($opt{lockdir} || $opt{dir} || 'lock'),
file => ($opt{lockfile} || $opt{file} || 'lockfile'),
timeout => ($opt{timeout} || 60),
trytime => ($opt{trytime} || 10),
);
$lfh{path} = File::Spec->catfile($lfh{dir}, $lfh{file});
for(my $i = 0; $i < $lfh{trytime}; $i++, sleep(1))
{
return bless \%lfh => $class if(rename($lfh{path}, $lfh{current} = $lfh{path} . time));
}
local *LOCKDIR;
opendir(LOCKDIR, $lfh{dir}) or return undef;
while(my $file = readdir(LOCKDIR)){
if ($file =~ /^$lfh{file}(\d+)/){
return bless \%lfh => $class if (time - $1 > $lfh{timeout}
and rename(File::Spec->catfile($lfh{dir}, $file) => $lfh{current} = $lfh{path} . time));
last;
}
}
closedir LOCKDIR;
return undef;
}
sub DESTROY{ rename $_[0]->{current} => $_[0]->{path};}
1;
__END__
0033nobodyさん
02/06/24 14:36ID:???思うんだけど、どの環境でも使えるようにするにはrenameで統一、じゃなくて
BEGIN内で
BEGIN
{
if( find_out_if_flock_is_available() ) {
*_do_lock = \&_lock_flock;
} elsif( use_other_locking_mechanism() ) {
*_do_lock = \&_some_other_locking;
} else {
*_do_lock = \&_lock_rename;
}
}
みたいにしたらどうだろう（それじゃなきゃロックする関数内で何か
定数ををスイッチにしても同じだけど）。なんかrenameのロックとかって
イマイチ信用できんから、flock()が使えるならそれを使ったほうがよく
ない？
0034nobodyさん
02/06/24 19:25ID:kznFdEhQ0035nobodyさん
02/06/24 19:27ID:???$lock = fopen('lock.txt', 'w') or exit;
flock($lock, LOCK_EX);
〜処理〜
fclose($lock);
でいいんでないかな。
0037nobodyさん
02/06/24 22:01ID:???タイムアウト処理ってどうやってる？
どの環境でも有効なタイムアウト処理となると思いつかんけどみんなは書いてる？
0038nobodyさん
02/06/24 22:13ID:v5EexGczflock()は途中で死ぬとタイムアウトしないみたい（永遠にロック？）なんだけど、どうするべ？
0039nobodyさん
02/06/24 22:21ID:???0041nobodyさん
02/06/24 22:25ID:???設定しておくしかないんじゃないの
004238
02/06/24 22:29ID:???http://homepage1.nifty.com/glass/tom_neko/web/web_04.html
こんなことしてます。
eval {
local $SIG{ALRM} = sub { die "time out" }; # 時間が来たら抜け出す
open(OUT, "+< $datafile") or die;
alarm(5); # 先行プロセスを待つ時間（５秒）
flock(OUT, 2) or die; # ロック確認。ロック
alarm(60); # 自分自身の制限時間（１分）
一連の処理
close(OUT); # closeすれば自動でロック解除
alarm(0); # 無事済んだのでリセット
};
if ($@ =~ /time out/) {
タイムアウト時の処理
}
elsif ($@) { die }
0043j064157.ppp.asahi-net.or.jp
02/06/24 22:29ID:???0044nobodyさん
02/06/24 22:34ID:???まあ明日調べてみよう。
0046nobodyさん
02/06/25 13:13ID:???「古いロックファイル（ディレクトリ）の削除」の項で、作成時間が１０分以上
前であることを確認したあとにリネームするのって複数プロセスでかち合う典型
だろ？ このサイトの人ってそこんとこ理解しないで画期的とか書いてるYO!
http://homepage1.nifty.com/glass/tom_neko/web/web_04.html#deletelock
if ((-M $lockdir) * 86400 > 600) { # 作成時間が10分以上前なら
rename($lockdir2, $lockdir); # ロック入れ替え
last; # 一連の処理へ
}
0047nobodyさん
02/06/25 13:45ID:???0049nobodyさん
02/06/25 15:02ID:???プロセスが変な状態で生きてる時ぐらいじゃないのかな。
プロセスが完全に死んだら解放されると思うけど。
ま、暴走ってなんだって言われても困るが。
0050nobodyさん
02/06/25 16:28ID:+Rl2IvER0051fusianaｓan
02/06/25 16:36ID:???ファイル追加書き込みを１００００ループぐらい連続でやるスクリプトを
同時に複数プロセスから実行させて、書き込まれた行数で判断すれば？
0052nobodyさん
02/06/25 17:04ID:???0053nobodyさん
02/06/25 18:20ID:???0054nobodyさん
02/06/25 18:21ID:???0055nobodyさん
02/06/25 21:07ID:???0056nobodyさん
02/06/25 21:15ID:???/ ヽ＼
/ ヽ ＼ / ＼
/ ヽ ＼＿＿ / ヽ ＼
／ ‐＿ ヽ ―――＿＿/ ヽ ＼
／ ￣ / ＿＿ ヽ ＼
｜ ￣ ＼
｜ ｜
｜ ｜｜ ｜
｜ ゝ＿ ｜｜｜／ ｜
｜ ( ・ ブ ゝ＿＿ ┃ ┃ ｜
｜ ￣ （ ・￣￣ ブ ┛ ┗ ｜
｜ ゝ＿＿ ノ ━┓ ┏ ｜ ┃ ┃
｜ ＿＿ ￣ ┃ ｜ ┃ ┃
｜ ｜￣￣ーヽ ｜ ┃ ┃
｜ ｜ ヽ ｜
｜ ｜ ｜ヽ ｜ ━┓
＼ ＿⊥＿ ｜ ｜ ┃┛
＼ ￣￣ヽ＿⊥ ｜ ┏━┓
＼ ｜ ┏┛
＼ ／ ・
0057nobodyさん
02/06/25 22:30ID:???0058nobodyさん
02/06/26 06:14ID:???0059nobodyさん
02/06/26 11:58ID:???/ ヽ＼
/ ヽ ＼ / ＼
/ ヽ ＼＿＿ / ヽ ＼
／ ‐＿ ヽ ―――＿＿/ ヽ ＼
／ ￣ / ＿＿ ヽ ＼
｜ ￣ ＼
｜ ｜
｜ ｜｜ ｜
｜ ゝ＿ ｜｜｜／ ｜
｜ ( ・ ブ ゝ＿＿ ┃ ┃ ｜
｜ ￣ （ ・￣￣ ブ ┛ ┗ ｜
｜ ゝ＿＿ ノ ━┓ ┏ ｜ ┃ ┃
｜ ＿＿ ￣ ┃ ｜ ┃ ┃
｜ ｜￣￣ーヽ ｜ ┃ ┃
｜ ｜ ヽ ｜
｜ ｜ ｜ヽ ｜ ━┓
＼ ＿⊥＿ ｜ ｜ ┃┛
＼ ￣￣ヽ＿⊥ ｜ ┏━┓
＼ ｜ ┏┛
＼ ／ ・
0060「このサイトの人」
02/06/26 17:34ID:uIGx/rWA>作成時間が１０分以上
>前であることを確認したあとにリネームするのって複数プロセスでかち合う典型
>だろ？
コードをちゃんと読んでもらえれば分かりますが、ロックファイルを消すときの
排他のために、もうひとつ違うロックファイルを作ってます。ということで冗談
のような方法なので「画期的」とふざけてみたわけで。第2のロックファイルが
残っても消せないのが欠点。
残ったロックファイルを消す方法で、いまのところ完璧だと思うのは、
http://www.din.or.jp/~ohzaki/perl.htm#File_Lock
のrename式じゃないかな。
0061nobodyさん
02/06/26 17:45ID:???__,,:::=========:::,,_,__
...‐''ﾞ . ｀ ,_ ｀ ''‐...
..‐´ ﾞ ｀‐..
─┼─ ／＼ ／ ○ ＼
─┼─ ／＼／＿.........;;;;;;;;;;;;;;;;::´ (⌒,) .l ヽ.:;;;;;;;;;;;;;;;;;;;;;;................. ｜｜｜
│ ／ ﾞﾞ .' ￣ ヽ ＿＿ , ─| ヽ ﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞ;;;;;;;;;;......。・ ・ ・
｜ ／ / ヽ .| ﾞ: ﾞﾞﾞﾞﾞ;;;;;;
ﾞﾞﾞﾞﾞ;;;;;;;;............ ;ﾞ ヽ l ﾞ; .............;;;;;;;;ﾞﾞﾞﾞﾞ
ﾞﾞﾞﾞﾞﾞﾞﾞﾞ;;;;;;;;;;;;;;;;;.......;............................. .ヽ ./ ..................................;.......;;;;;;;;;;;;;;;;;ﾞﾞﾞﾞﾞﾞﾞﾞﾞ ____
::::日F|xxx・,`:::::::::::::::::: ﾞﾞﾞﾞﾀ.ﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞ;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;ヽ ./ﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞﾞ!!ﾞﾞﾞﾞﾞ ::::::::::::::::::`'*[] H]. |[][]|:
::::日日II[][]'l*:::::::::::::::::: ﾉｷli; i . .;, ､ .,, .V ` ; ､ .; ´ ;,i!!|iγ :::::::::::::::::::j;‘日/ .|[][]|::::
::::口旦 E=Д;‘｀::::::::::::::::::::: /ﾞ||lii|li||,;,.il|i;, ; . ., ,li ' ; .` .; il,.;;.:||i .i| :;il|!!|;(ﾞ ::::::::::::::::::::::"‘、Дロ::::
::::Д日T† ;j;::::::::::::::::::::::: ｀;;i|l|li||lｌｌ|||il;i:ii,..,.i||l´i,,.;,.. .il ｀, ,i|;.,l;;:`ii||iil||il||il||l||i|liiﾞゝ :::::::::::::::::::::::・;日日T::: 日::::
::::Hvv´+"::::::::::::::::::::::::: ﾞﾞ´`´ﾞ-;il||||il|||li||i||iiii;ilii;lili;||i;;;,,|i;,:,i|liil||ill|||ilill|||ii||lliﾞ/｀ﾞ :::::::::::::::::::::::::´.'田＃v[][]†~~†::::
::::v[]>:・':::::::::::::::::::::::::: ﾞ｀ﾞ⌒ゞ;iill|||lli|llii:;ﾞ|lii|||||l||ilil||i|llii;|;_ﾞι´ﾟﾞ´｀ﾞ ::::::::::::::::::::::::::+`:F|ロxxx::::
::::田＃YYv、*;::::::::::::::::::::::::::::::::::::::: ´ﾞﾞ´｀ﾞ｀｀´ﾞ｀ﾞ´｀｀´ﾞ｀ﾞﾞ´´ ::::::::::::::::::::::::::::::::::::::::,,・、::日旦::::
::::ロ|=|E」vxxx:`l::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::::;:`+E| ∩v |=|::::
0063fusianaｓan
02/06/26 19:33ID:???全然わかってないねー。まだ気づかないの？
■ このスレッドは過去ログ倉庫に格納されています