トップページ⇒php
817コメント199KB

★負荷軽減対策委員会（Perl、PHP)★

■ このスレッドは過去ログ倉庫に格納されています
0001ジークハルト ◆VUxx/EwNXI 02/10/15 10:33ID:ifgLRUyb
サーバ上にPerlやPHPを置く場合、何よりも重視しなければ
ならないのはサーバへの「負荷」。
負荷の高いCGIの使用は削除対象となるのが目に見えてます。
負荷を軽減させるにはどうすればいいか？
どういう書き方をすればいいか？
そんな委員会を開設しました。
0263nobodyさん03/02/10 00:29ID:???
>>262
質量保存の法則ですか?
0264nobodyさん03/02/10 11:12ID:???
電源から電気をもらっているわけで
ＨＤの容量が変わると電荷の分増えたりしないのか？
0265nobodyさん03/02/16 11:56ID:???
>>264
んなこたーない。
0266nobodyさん03/03/01 17:02ID:???
２ショットサイト作成中なんですが、チャットってログはテキストより
SQLにした方が負荷は低いですか？
チャット自体はモジュールのPHPで動かす予定なんですが。
0267nobodyさん03/03/01 17:06ID:???
>>266
ログは多くても100件保存できればOKでしょ？
だったらテキストの方が良いに決まってる。
0268nobodyさん03/03/01 21:11ID:+zEIIVTI
>>266
チャットは
mod_perlで常駐させて
配列にログ入れて
ファイルアクセスをなくすと
めっちゃ早かったでつ。

んで、保存ログは20行以下に切り詰めて
ブラウザ側でJavaScript使ってログを保存・表示させていく方式が
よろしかろう･…というか、よろしかったでつ。

026926603/03/02 10:48ID:???
>>276
チャット一つあたりのログは精々10〜20件ぐらいですね。
他に管理者用のｺｿｰﾘ覗き見スクリプト（ログ全件保存）ってのも
作ってあったりしますが＾＾；

>>268
mod_perlは普通に動くスクリプトをそのまま動かせるんだったら
試してみようとも思うんだが。お手軽さならPHPに流れちゃうね。
そういえば自分、JavaScriptは全然わけわかめだった＾＾；
0270ハッカ飴03/03/02 23:25ID:???
>>244
1ページ分を1つの変数に入れたとしてもせいぜい50KB。
たいしてメモリを食わないと思うんだがどうだろう？
0271nobodyさん03/03/03 15:53ID:???
辞典みたなものをCGIで作ろうと思ってるんだけど、データをHTMLで保存するか
ログファイルに保存して毎回CGIで表示するか迷ってる。
CGIサーバが5MBしか容量ないので保存データ量を節約したいけど負荷が気になる。
1日500件もアクセス無いはずだから別にいいかな？
0272nobodyさん03/03/10 14:42ID:e5Gc6Qds
>>271
辞典の更新頻度、検索の手段によるのでは
0273山崎渉03/03/13 17:03ID:???
（＾＾）
0274nobodyさん03/04/02 16:48ID:MBb6MhRw
質問です。

Windows2000
Apache 1.3.26 win32
ActivePerl 5.6.1

でCGIのテストをしているのですが、
CGIの負荷を数値等で表示してくれるツールってないですか？

今は、タスクマネージャーで見ているのですが、
もっと詳細に負荷の具合を調べたいのですが、

ご存じの方、よろしくお願いします。
0275nobodyさん03/04/03 00:43ID:u5AEaj7N
>>274
DProf を試してみたら？
0276山崎渉03/04/17 12:10ID:???
（＾＾）
0277山崎渉03/04/20 06:23ID:???
　　 ∧＿∧
　　（　　＾＾ ）＜ ぬるぽ（＾＾）
0278nobodyさん03/04/23 00:06ID:eNBdthfp
あのー、
Perlで、myやlocalをほとんど使っていないってのは、
どのくらいの負荷要因でしょうか？ベスト１？
0279あぼーんNGNG
あぼーん
0280nobodyさん03/04/23 00:32ID:???
>>278
それで変数のコピーを抑えれば効率的と言えるかも。
0281nobodyさん03/04/23 12:57ID:???
>>278
perlの実行ファイルで既に1M近くあるし、モジュールとか読んだら、
もっと増える。
気にするやつは馬鹿。自己満足。知症。
たとえれば、ボルトを全部チタンにして100gの軽量化に成功！とか言ってる
車オタと同類。
0282nobodyさん03/04/24 01:07ID:Dv9rntoL
このスレ的な話題をあつかった本って、あります？
0283nobodyさん03/04/24 01:31ID:Dv9rntoL
プログラムとデザインをわけようとして、
テンプレート読み込み型のデザインをしていたんだけど、
そのせいなのかなー、急に重くなった気がする
0284nobodyさん03/04/24 12:43ID:UND9RBAr
>>283
データ更新の機会がそれほど発生しないものならば、動的にHTMLを生成する
のではなく、データ更新時、静的HTMLを随時生成するのに切り替えるのも一つの
手かと。
0285あぼーんNGNG
あぼーん
0286あぼーんNGNG
あぼーん
0287わっしょい03/04/27 17:57ID:???
http://www.atmarkit.co.jp/flinux/special/php5/php5a.html
速くなるのでしょうか・・・？
0288nobodyさん03/04/27 23:41ID:???
>287 phpに速さを求めちゃイカン。
0289nobodyさん03/04/28 01:16ID:???
>>288
そう，PHPは実行速度より開発速度
0290nobodyさん03/04/28 23:00ID:???
Perlもそうだよ〜
0291nobodyさん03/04/30 00:11ID:7aND3iYJ
Perlで3MくらいのCSVを読み書きするのって、
かなりの負荷？

あと、ここのみなさんは、どうして負荷について知識があるんでしょうか？
経験上？
0292nobodyさん03/04/30 00:21ID:???
>>291
一回しかやらないのなら
大した負荷にならないが
BBSのログとかだったら負担になるかもね
0293nobodyさん03/05/02 05:14ID:Faf7JYi+
オブジェクト指向のプログラムは負荷軽減になるの？
0294nobodyさん03/05/02 06:55ID:???
ならない
0295nobodyさん03/05/02 10:25ID:???
>>291
DBM使え。簡単だぜ。
郵便番号ファイル（郵政省--いま何たっけ--の）で速度5倍だぜ。
http://www.ichikoro.com/webp/bk/00060.htmlのベンチマーク。
あれ、２Mくらいじゃなかったっけ？
0296nobodyさん03/05/02 11:29ID:???
>>288
そうそう。よほど非常識なことをしなければ、スクリプト言語で効率を考えるのはナンセンス。
0297nobodyさん03/05/02 15:38ID:???
>>296
>>295にあるように効率はいつも考えるべき。
0298nobodyさん03/05/04 07:37ID:???
>>297
そうだね。コードの一つ一つで効率を考えることによって、
全体としてそうとうの負荷軽減になる。例えば、
http://www.mikeneko.ne.jp/~lab/perl/numerical_transform/#h4を
ベンチマークで検索してみれ。
0299nobodyさん03/05/05 23:05ID:I0Mrp3iS
>>292
そうかー、ちょっと反省。

ところでどなたか、↓の質問答えてほしいです。。。

＞あと、ここのみなさんは、どうして負荷について知識があるんでしょうか？
＞経験上？

あと、負荷軽減について詳しい本（の一部とか雑誌でも）ないでしょうか？
0300nobodyさん03/05/06 00:03ID:???
>>299
ラクダ本買っとけ。
0301nobodyさん03/05/07 15:10ID:???
負荷がどうとかと言う人ほど、use strictしたままリリースしそう。
0302nobodyさん03/05/09 00:10ID:???
use strict すると負荷がかかるんですか？
0303nobodyさん03/05/09 15:22ID:???
>>302
検査する時間が増えるだろ、アクセスごとに検査させるのか。
0304nobodyさん03/05/11 11:49ID:???
Cでいえばassert有効にしたままリリースってのに似ているな。
わざとそうしている人もいるみたいだけど・・・
0305nobodyさん03/05/15 03:27ID:zbSE5/sG
負荷を測るのってどうすればいいの。
自分のPCで動かしてもよーわからん。
0306あぼーんNGNG
あぼーん
0307nobodyさん03/05/19 07:37ID:9ehzYSkO
メモリについて質問させて下さい。
例えば
$x="abc";
の後、
$x="";
という記述なしに
$x="def";
とした場合、メモリは、
abcの○○○分と、defの○○○分の
○○○○○○分が確保されてしまいますか?

$x="abc";
$x="";
$x="def";
にすれば
メモリ確保は○○○だけになると思うのですが。
0308nobodyさん03/05/19 07:48ID:???
>>307
たぶん・・・
変数へ上書きしたら、ちゃんと初期化（開放）してから、
代入してくれると思ふ。
0309nobodyさん03/05/19 08:57ID:9ehzYSkO
>>308
そうですか。
では$x="";は無駄ですね。
ありがとうございます。
0310nobodyさん03/05/19 09:06ID:???
Perlは最初に確保したメモリ空間を開放しません。
たとえ、ゼロに初期化しても。undefなら別。
http://www.mikeneko.ne.jp/~lab/perl/tuning/
0311あぼーんNGNG
あぼーん
0312あぼーんNGNG
あぼーん
0313あぼーんNGNG
あぼーん
0314nobodyさん03/05/19 15:55ID:wUacqRGd
>>310
何が言いたいのかわからん。
0315nobodyさん03/05/19 16:11ID:wUacqRGd
>>310
すんまそん。
メモリ確保を解放するかしないかは分かります。
メモリ確保は○○○分で済むのか、○○○○○○分確保してしまうのかを聞きたいのです。
0316あぼーんNGNG
あぼーん
0317あぼーんNGNG
あぼーん
0318nobodyさん03/05/19 17:41ID:???
詳しく知りたかったら、Perlのソースを読むしかないと思うけど。
0319nobodyさん03/05/20 01:00ID:???
>>315
>>310 の記述を見ると、３バイト分しか確保しないように思えたけども。
0320nobodyさん03/05/21 00:27ID:???
apacheのログ２，３日分。約４M。PHP。極貧マシン。
while & fgets & copy -> 処理50秒前後　メモリ使用４M前後 CPU100％
file & foreach(or list&each) & copy -> 処理60秒前後　メモリ使用１５M前後　CPU100％
fread & copy -> 処理0.5秒前後　メモリ使用４M前後　CMP100％
0321nobodyさん03/05/21 15:21ID:???
>>320
PDA以下だね･･･。
0322山崎渉03/05/22 02:00ID:???
━―━―━―━―━―━―━―━―━[JR山崎駅（＾＾）]━―━―━―━―━―━―━―━―━―
0323nobodyさん03/05/22 15:08ID:???
ったく、山崎のおかげでｽﾚ順めちゃくちゃだ。
0324nobodyさん03/05/26 07:37ID:Hdu0vyT1
ファイルをコピーする時って

open(IN,"Src.txt"); #コピー元ファイル　Src.txt をオープン
while(<IN>){　　　　# 一行毎の読み込みループで変数$Bufに読み込む
　$Buf .= $_;}
close(IN);　　　　　#ハンドル IN が不要になったので閉じる

◇デソースに書き出す
open(OUT,"> Dst.txt");　#コピー先ファイル Dst.txt をオープン
print OUT,$Buf;　　　　　#ソースの内容($Buf)を書き出す
close(OUT);　　　　　　　

のように一行ずつ読み込んでく場合と
@line=<IN>;
みたいにいっきに配列に入れてしまうのはどちらが処理としてはいいのでしょうか?
0325nobodyさん03/05/26 08:20ID:???
>>324
open IN, '<' . $src or die;
open OUT, '>' . $dst or die;
my $buffer_size = 1024; # 適宜調整
my $buffer;
print OUT $buffer while read IN, $buffer, $buffer_size;
close OUT;
close IN;
0326nobodyさん03/05/26 08:36ID:Hdu0vyT1
>>325さん
それが最適なのですか。
勉強になります…。
サイズ1024は何を意味しているのだろう…
0327あぼーんNGNG
あぼーん
0328nobodyさん03/05/26 11:18ID:???
>>326
1024 byte は 1 kbyte だろ？
コンピュータの基礎じゃねえか。

ま、俺だったらFile::Copyモジュールを使うかも。
バグがあるかも知れないソース書くより楽だし。
032932603/05/26 14:05ID:mARvDo9Y
my $buffer_size = 1024; # 適宜調整
すいません。
これを記述することで何が得なのかを知りたいのでした。
0330nobodyさん03/05/26 14:38ID:kKbCXT+N
>>329
実行エンジンにもよるんだけども、メモリを確保する場合、8byte単位とかそういうのが多いから
(アライメント）。
Perlだとどうだか？って気もするけども。
0331nobodyさん03/05/26 14:57ID:???
8・・・
0332nobodyさん03/05/26 18:41ID:???
>>329
微妙に意味がわからんな……
推測をして回答してみる。
1.$buffer_sizeを設定することで、何バイトずつコピーするのかの設定が可能になる。
この数値を小さくすると、コピー回数が増えるが、メモリーへの負担は減る。
この数値を逆にすると、その逆。
サーバーの具合を見て適宜調整することができる。
2.わざわざ変数を一つ設定することの意味は、変数の名前をわかりやすくすることで、
その変数が何に使われているのかをわかりやすくする。
「昨日の自分は他人」の言葉どおり、後から見た時になんでその数値にしたのか等が判断しやすくなる。

何が聞きたいんだろう……
0333nobodyさん03/05/26 21:27ID:???
3. 設定(定数)と実働部分はできるだけ分離する。
>>324のコード片がスクリプトのどこに埋もれていても、
変数 $buffer_size としてスクリプトの頭の方で定義しておけば
簡単にバッファサイズを変更できる。定数で埋め込んでしまうと
変更したい時にいちいち探し回る事になる。
0334nobodyさん03/05/26 21:28ID:???
s/324/325/
0335nobodyさん03/05/26 21:32ID:kKbCXT+N
Perlは最適化とかしないのかな？
@buf = <IN>
のほうが早かったりして。
0336nobodyさん03/05/26 21:50ID:67MeoiMR
open(IN, $src);
open(OUT, '>'.$dst);
print OUT while(<IN>);
close(IN);
close(OUT);

こう書くかも。
readで読み出すバイト数は多い方が速いと思う。当然だけど。
ただ多過ぎるとそれはそれでメモリくったり。
0337nobodyさん03/05/26 22:07ID:???
>>335-336
ベンチ取れば分かる事だが、@buf = <IN> はメモリを一気に
確保する = System CPU time を食う。行入力演算子による
取得は「行末」を探す = 可変長入力なので潜在的に read
より遅い処理。もちろん扱うデータのフォーマット & 量次第
だけどね。

どうしても行入力演算子でやりたければ
$/ = \1024;
while (<IN>) { ... }
で 1024 byte 単位で読めるけど、素直に read 使った方が
速かったかと。
033833603/05/27 01:07ID:???
たしかにそうですね。
改行コードを探しながら進むので遅いと。
0339山崎渉03/05/28 17:05ID:???
　　　 　∧＿∧
ﾋﾟｭ.ｰ　(　　＾＾ ） ＜これからも僕を応援して下さいね（＾＾）。
　　＝〔~∪￣￣〕
　　＝ ◎――◎ 　　　　　　　　　　　　　　　　　　　　　山崎渉
0340nobodyさん03/05/28 18:05ID:???
age

0341nobodyさん03/05/28 23:45ID:01rk8ElD
ファイルの書き込みを追記にしたばあいの負荷ってどうなるんですか。
たとえば書き込むものは同じとして、
追記先のファイルが1行のときと1000行のときでは
ＣＰＵメモリ負荷はどうなるんでしょう。
追加するだけだから大して変わらないかなと思ったんですけど。
0342あぼーんNGNG
あぼーん
0343鷹03/05/29 00:29ID:KW4sDDhu
$kazu=(((($my_tech-int(rand($my_tech/4)))*$job_dmg[$job])*$tarou)/$mstamina)*$stamina;
このように一気に計算させるのと、
いくつもに分けて計算させていくのでは
負荷は変わるのでしょうかね?
変わるのならどちらが軽いと思いますか?
0344nobodyさん03/05/29 00:52ID:???
>>341
追記の場合、元のファイルの大きさはほぼ影響しない。
Cをやっている人間ならわかる（はず）だが、
追記と言うのは、ハードディスク上のファイルの終端を探し出して、
そこから新たなデータを埋めて行き、最後にファイルの大きさを示す数値を変更する作業だ。
従って、ファイルの終端を探し出す作業だけが、ベンチマークに影響する。
0345nobodyさん03/05/29 00:54ID:???
>>343
メモリの占有率を調べたいなら、そういうソフト入れてベンチマーク取ればわかる。
そして結果を発表すると皆から感謝される。

むしろ、その式は人間が見やすいかどうかを考慮した方がいいと思う。
0346nobodyさん03/06/01 05:17ID:q1DFdt/M
下記の中で最も負荷が少ないのはどれでしょうか？

1.printを使い一行ずつ出力
2.ヒアドキュメントで出力
3.別ファイルを作り読み取らせて出力

3は後々便利そうだけど、負荷が気になる…。
0347nobodyさん03/06/01 07:32ID:???
2
0348nobodyさん03/06/01 10:16ID:???
>>346
負荷が少ないって、どっちの？

「省メモリ」？ それとも「ＣＰＵ占有の少なさ」？
0349nobodyさん03/06/01 11:08ID:???
>>346
>3.別ファイルを作り読み取らせて出力
>3は後々便利そうだけど、負荷が気になる…。

じゃあ外部ライブラリとかあまり使わない方がいいよ。CPANもね。
0350nobodyさん03/06/01 12:28ID:???
>>346
1.出力処理が遅い。
2.出力処理は早い。
3.良識ある人間のやること。

一般に、メモリ占有量の低いものの方がウェブには向いているよ。
0351nobodyさん03/06/01 13:28ID:???
>>350
そうか？次々とくる要求に迅速に対応するために処理速度を優先しない？
0352nobodyさん03/06/01 14:21ID:???
webプログラムは、サーバへの負荷も気をつけないといけないと思うけど、
それよりも、トラフィックを一番に考えてる俺は間違ってますか？
0353nobodyさん03/06/01 16:03ID:j4GGBbHW
>>347-351
どうもです。
0354nobodyさん03/06/01 16:59ID:???
そんな細かい事ぐらいでｻｰﾊﾞｰから言われる事はまず無いので
私も処理速度を優先させるべきだと思うねぇ。
というか、気にするほど大して変わらない。
基地外なほど膨大なデータを扱うならまだしも。
0355nobodyさん03/06/01 23:12ID:???
想定同時アクセス1000くらいの小さな案件で、
鯖を用意してやるなら、保守性を一番においても問題ないと思う。
0356nobodyさん03/06/01 23:24ID:8+Lq3hlg
>>355
>想定同時アクセス1000
これって小さいの? 秒間同時アクセス数1000ってことだよね?
0357nobodyさん03/06/02 02:48ID:???
共有メモリを活用する、繰り返し使用する正規表現はlexで、
大きなプロセスは常駐させてローカルソケットでCGIと通信してCGIは小さく作る、
データベースは下手に使わない、巧く使える場合にだけ使用する。
0358nobodyさん03/06/03 01:39ID:???
>>354
サーバーがつんでるメモリーの量によってどっち優先かは変わると思われ。
メモリー使い切ったらswapのオーバーヘッドがかかってかえって遅くなるし。
まあ、最近のサーバーはメモリーを湯水のように持っているからそんなこと考える必要ないのかな?
0359nobodyさん03/06/03 05:54ID:+XIKXuw2
Perl5からＰｅｒｌでもコンパイルした状態で設置できるようになったと読んだんですがどうすればできますか？
0360nobodyさん03/06/03 08:09ID:???
>>359
perlccを使う。
使ってどの程度早くなるかは知らんけれどね。
0361nobodyさん03/06/03 12:08ID:Sjj3JYUN
>>358
共有鯖ならいくらメモリ積んでいようと割り当てられるのは
微々たるもの
0362nobodyさん03/06/03 21:29ID:???
>>360
散々言われてていることだが、perlccではモジュールはろくすっぽ使えないので注意。
■ このスレッドは過去ログ倉庫に格納されています