ファイルシステム総合スレ その10
■ このスレッドは過去ログ倉庫に格納されています
0001login:Penguin
2009/04/02(木) 20:57:26ID:AdLAWklr01 ttp://pc.2ch.net/test/read.cgi/linux/1006743807/
02 ttp://pc5.2ch.net/test/read.cgi/linux/1063025258/
03 ttp://pc8.2ch.net/test/read.cgi/linux/1101495293/
04 ttp://pc8.2ch.net/test/read.cgi/linux/1136695633/
05 ttp://pc8.2ch.net/test/read.cgi/linux/1152348695/
06 ttp://pc11.2ch.net/test/read.cgi/linux/1173530292/
07
08 ttp://pc11.2ch.net/test/read.cgi/linux/1190788761/
09 ttp://pc11.2ch.net/test/read.cgi/linux/1225001916/
●関連リンク
ext4
ttp://www.bullopensource.org/ext4/
reiserfs/reiser4
ttp://www.namesys.com/
xfs
ttp://oss.sgi.com/projects/xfs/
jfs
ttp://jfs.sourceforge.net/
nfs
ttp://nfs.sourceforge.net/
ntfs
ttp://www.linux-ntfs.org/doku.php
fuse
ttp://fuse.sourceforge.net/
btrfs
ttp://btrfs.wiki.kernel.org/index.php/Main_Page
NILFS2 (NTT)
ttp://www.nilfs.org/ja/
0796login:Penguin
2009/09/16(水) 14:15:36ID:RJIgMBeyttp://userweb.kernel.org/~akpm/mmotm/broken-out/
へ移動しますた。
誰か骨を拾ってあげてくらはい。
0797login:Penguin
2009/09/16(水) 19:39:23ID:UJcLYraYそのうちext4にでも移行するか。
0798login:Penguin
2009/09/16(水) 21:26:31ID:uGxSPocoファイルのfs内移動 → Sequential Create/Random Createのcreate/deleteのうち最低値
ディレクトリリスティング → Sequential/Random Createの Read のうち低い方
5TB3000万ファイルほどで、ディレクトリリスティングと
ファイルの移動が多いので上記のような基準で検討していまして、
いまのところreiser3が最有力なのですが問題ありそうでしょうか?
0799login:Penguin
2009/09/16(水) 22:52:50ID:Tl/wx3w4あとマウント時間が分単位。
0800login:Penguin
2009/09/16(水) 23:27:09ID:V6HHYy1n>>799
スケールしないというのは容量?速度?
容量でしたら8TBに達するのはずいぶん先に見積もっていて(増加ペースが鈍い)、
先にリプレースが来そうなのであまり問題視していません。
速度ですと、約100万ファイルまで増やしながらテストした際に最も
遅くなりづらかったのがreiser3という結果が出たので…。何か変なのかな…。
マウント時間が分単位というのも、自宅用ファイルサーバで
立ち上げっぱなしなので起動時のみの時間ペナルティと判断しています。
いろいろ後出しですみません
0801login:Penguin
2009/09/17(木) 08:41:23ID:lwWWpZYR0802login:Penguin
2009/09/17(木) 09:14:43ID:imVaodyKスケールしないのはコンカレントアクセス。
個人で使うならいいんじゃないの?
0803login:Penguin
2009/09/17(木) 09:23:17ID:8K0Ea6hu2TBのボリュームをReiserFSで使ってるけどマウントは5分くらいかかるよ。
0804login:Penguin
2009/09/17(木) 10:18:03ID:eygHzDXf0805login:Penguin
2009/09/17(木) 23:42:40ID:hqfb/bz2BKLか、了解ー
0806login:Penguin
2009/09/18(金) 21:00:52ID:fWyof+eR大体からして、CONFIG_PREEMPT関連がカーネルに導入された経緯のひとつに
BKL処理の効率化があった事はあまりに有名
未だにジャーナルの処理に一々BKLかけるReiserFSは
今、あえて選択する必要のないFSではあるけど
BKLのせいで並列アクセスがスケールしないとか言うのであれば大間違い
そもそもBKLがどうやって処理されているのかソースを読んで理解すべき
つーか、今は亡きCK kernelが、どうしてext3とReiserFSだけを推奨し、他を非推奨にしたのかをもっと考えるべき
CKがパッチの提供を辞めてから、色々とLinuxで使えるFSも増えたし、改良もされたけど
俺は未だにext[34]とreiser[34]以外のFSはクソだと思っているよ
0807login:Penguin
2009/09/18(金) 23:29:04ID:lWlnTusCとか
読んで理解すべき
としか言わない奴は十中八九自分では説明できない
0808login:Penguin
2009/09/18(金) 23:29:47ID:cB7i7bsS0809login:Penguin
2009/09/18(金) 23:42:30ID:lWlnTusC0810login:Penguin
2009/09/18(金) 23:59:15ID:BrKFjTEPしらんがな
0811login:Penguin
2009/09/19(土) 00:04:18ID:LBONijMH0812login:Penguin
2009/09/19(土) 00:26:49ID:YH6i3rVh0813login:Penguin
2009/09/19(土) 00:51:48ID:ZNMyo7Z+あの頃はデスクトップではUPが普通だったから、マルチコア時代の現代とは単純に比較できないような
0814login:Penguin
2009/09/19(土) 04:05:10ID:nzH+YeBAトンスルお待ち!
0815login:Penguin
2009/09/20(日) 13:19:53ID:wV9s5HBg300GBの話で参考にならないかも知れんが一連の起動時間全体で20秒くらいです。
mkfsのパラメータやマウントオプション、ハードウェア、いろいろあるけど
きっと君は間違ってるw
0816login:Penguin
2009/09/20(日) 13:25:28ID:7/vSTIy+これを「スケールしない」と言います
0817login:Penguin
2009/09/20(日) 14:18:12ID:C1QJ3cI8パーティションがでかくなるとそういう弊害もあるんだなw
0818login:Penguin
2009/09/20(日) 14:30:24ID:Lx3Z4LGXというか、未だに1セクタ512バイトが最小単位なのか。。
0819login:Penguin
2009/09/20(日) 14:38:49ID:wV9s5HBgスケーラビリティがないこと
キャップしない
キャパビリティがないこと
リライしない
リライアビリティがないと
訳のわかんない事いうのやめようよ・・
もうすでに標準なの?
0820login:Penguin
2009/09/20(日) 14:39:52ID:Lx3Z4LGXttp://dictionary.goo.ne.jp/leaf/ej2/63793/m0u/scale/
0821login:Penguin
2009/09/20(日) 17:41:51ID:OY0QxSDJキャップしないって何だよwそいつはお断りだ
しないとできないは違う
信頼しないのと信頼性がないのは違う
スケーラビリティで使われてるのは拡大縮小可能もしくは比例しうるって意味。
スケールしないは比例しないの意味だろうが
比例しないって書けよ
チェンジとかスイーツとかファイルシステムとか
なんで片仮名ばっかり使うのバカなの死ぬのw?
0822login:Penguin
2009/09/20(日) 18:43:19ID:YJrAu4JI0823login:Penguin
2009/09/20(日) 20:38:21ID:W9OGi4v10824login:Penguin
2009/09/20(日) 20:48:48ID:6W0WwjBm0825login:Penguin
2009/09/20(日) 21:12:08ID:YJrAu4JI敵は正確な発音ならカタカナではこう厨。
0826login:Penguin
2009/09/21(月) 08:53:39ID:6BBUoYSsヘプバーンとヘップバーンとヘボンは異字同義語
# mkreiserfs -t 512 -h rupasov /dev/sda9
mount -r reiserfs /dev/sda9 /hoge/hage -o noatime,nodiratime,block-allocator=border,data=writeback
2chブラウザとログ置き場をこれにしてみたら、うっひょー。
マジおすすめ
rupasovはハッシュがダブるって書いてあるが実際にどうなのかしばらく試してみる。
ライトバックなのは2chログだから。
効果は不明だが
manの表記が不正なんでこう書かないとブロックの割り当てが変更できない。
block-allocator=border (hashed_relocation, no_unhashed_relocation, noborder)
http://web.archive.org/web/20070809124305/http://www.namesys.com/mount-options.html
0827login:Penguin
2009/09/21(月) 12:11:29ID:uDbg8rz1スレチですまんが2chブラウザは何使ってるの?
0828login:Penguin
2009/09/21(月) 18:27:20ID:ChTxPFKEうちも360GBで参考にならないかもしれないけど
確かにジャーナルの最大サイズは100数十MBかもしれないけど
マウントって零コンマ何秒?ってくらいで全く引っかからないよ。
0829login:Penguin
2009/09/21(月) 18:42:30ID:B/OHxQzKそのサイズだとまだまだだな
指数関数って怖いよな
0830login:Penguin
2009/09/21(月) 19:12:45ID:SXdmmE3Sゑ? O(n)じゃなくて、O(n^2)すら超えてO(e^n) なの? なんでマウントに
そんなわけのわからんアルゴリズム使っているんだ?
0831login:Penguin
2009/09/21(月) 19:24:37ID:9q2aeNv/・
л
л
пシ
シ
0832login:Penguin
2009/09/22(火) 20:34:17ID:dZ+D1fmwカーネルソース置いてコンパイルしてみたりしたが今のところ何ら異常はない。
俺は今後はrupasov使うわ。
reiser4は使ったことないけどreiserfs3と比べてどんな感じ?
>>827
V2C。
0833login:Penguin
2009/09/23(水) 11:19:44ID:hYkmayu9意外とDB用途に最適かもよ?
http://ulfs.sourceforge.net/
0834login:Penguin
2009/09/23(水) 21:37:08ID:h2t+Bp3UIDに決まってるだろ
0835login:Penguin
2009/09/24(木) 11:06:23ID:joayn3d80836login:Penguin
2009/09/24(木) 11:11:50ID:+QoMJhH90837login:Penguin
2009/09/24(木) 11:20:13ID:9WTD7LOoSSDで有利だから
0838login:Penguin
2009/09/24(木) 20:40:07ID:x6/1cqZTJDじゃなくて?
今天的 Tetralet 又在????了
ttp://tetralet.luna.com.tw/index.php?op=ViewArticle&articleId=214&blogId=1
ちょっと前に会社で停電があってreiserfs使ぅとったのが立ち上がらんようになってしもたんや。
fsckしたら直ったけど冷や汗もんやな。
reiserfsの悪い評判とも関係あるけど。こんな事もあるんやなって身に染みて分かったわ。
で、結局何がえぇんよ?
半日ググったけど自分で試してみるんが一番ってことで。
0839login:Penguin
2009/09/24(木) 23:26:23ID:+0yImHYgほんとならソースくれ。
0840login:Penguin
2009/09/24(木) 23:29:36ID:oepUEYYM0841login:Penguin
2009/09/25(金) 00:10:23ID:8lp7KrzM指数オーダーてのは直感的に想像できない。そんなだったらとっくに死滅してるはず。
>>829が指数の意味を誤解してるんだろう。
0842login:Penguin
2009/09/25(金) 00:24:02ID:If6aiUCb0843login:Penguin
2009/09/25(金) 00:27:44ID:DlSn0Qec0844login:Penguin
2009/09/25(金) 10:08:45ID:kIBKD3uE指数かどうかはともかく、直線的にスケールしないってのは普通にあると
思うけどな。問題はその程度って話でしょ。
0845login:Penguin
2009/09/25(金) 10:47:21ID:i8/4OJv9ブロックサイズ4096、ジャーナルサイズが32749ブロック、トランザクションが1024ブロック。
これが*TB規模になると問題になるのかもしれんが。
マウントもリプレイも速すぎて目で追えないんだが遅いってか?
5分もあったらデスクトップ出してからリブート2回できるっちゅうに。
>>838でもマウントが遅いって書いてある。これはきっとアンチreiserfs厨の罠だな
NILFS2使ってみた。速度を求めるものではないが使う分には遅さは感じない。
遅い印象があったけどそのせいで逆に速く感じた。jfsと一部の特性取り替えたような感覚。
0846login:Penguin
2009/09/25(金) 11:02:40ID:QNISpLjDリブートは年1回だがな。
0847login:Penguin
2009/09/25(金) 11:22:37ID:8shufhsA0848login:Penguin
2009/09/25(金) 11:29:07ID:kIBKD3uEうちのサーバはOS読み込み前のハードウェアチェックなんかだけで3分から5分は
かかるわ。
0849login:Penguin
2009/09/25(金) 11:30:43ID:hnnN3qZg特になし
以上
0850login:Penguin
2009/09/25(金) 11:45:19ID:8lp7KrzMO(nlogn)くらいの。
0851login:Penguin
2009/09/25(金) 11:48:09ID:H6F4VVWnたまに、ext2/ext3を前提としたコードがコンパイルできない。
それ以外はext3と同じ感じ。
0852login:Penguin
2009/09/25(金) 21:29:55ID:7i3jmdwDFreeBSDのZFSが使い物になると宣言されましたよ。
0853login:Penguin
2009/09/26(土) 04:31:20ID:IigKfcmLNIFLSのほうが話題多いんじゃないだろうか。このスレに限らず。
>>852
ttp://gihyo.jp/admin/clip/01/fdt/200909/24 ですな。
ただ、OpenSolarisのZFSはL2Arc ttp://blogs.sun.com/brendan/entry/test
なんていうSSDをキャッシュに使う機能なんていうのも実装されて、
ますます進化しているけど。
0854login:Penguin
2009/09/26(土) 10:02:46ID:6/kVht60ZILは高頻度でsync()するアプリケーションに効くよ。
emacsはデフォルトでファイルを書くとsync()してくれるから
ZILでmewが速くなった。
0855login:Penguin
2009/09/26(土) 12:28:57ID:iwR2lO7xL2ARCなら1年近く前に入っているよ。
違うのはKernelのサポートが必要なCIFSとISCSIぐらいです。
0856login:Penguin
2009/09/26(土) 22:07:04ID:LNAPqpYGZILにSSD設定しても遅い
ZIL無効とかzfs_nocacheflush有効にしたら劇的に改善するが、これは実環境じゃ使えないし
0857login:Penguin
2009/09/26(土) 23:21:31ID:grPHdBpz0858login:Penguin
2009/09/27(日) 00:42:56ID:ysVDtkCQ当然opensolarisやsolarisでの話
0859login:Penguin
2009/09/27(日) 00:46:53ID:HuOcByfQ0860login:Penguin
2009/09/27(日) 07:47:21ID:A1tC5n7VZILは書き込み速度が重要だとおもってHDDにしてるけど
ttp://blogs.sun.com/brendan/entry/testだとSSDがおすすめっぽいな。
0861login:Penguin
2009/09/27(日) 08:03:03ID:6+7sH97ZHDDは遅いものだがその認識はRAMやSSDを越えるうるような近未来RAIDでも組んでるの?
0862login:Penguin
2009/09/27(日) 10:16:32ID:Sbej/hhHbonnie++ : バージョン 1.96 テスト領域 8GB
bonnie++オプション : -n 4:262144:0
基本マウントオプション : noatime,nodiratime
環境 : Athron64 X2 @1Ghz固定 RAM:4GB HDD:SATA(cache:16MB) バックグラウンドでdnetc(CPU:100%)
ハッシュ関数の特徴:
rupasov: 高速ハッシュ。似た名前のファイルを近くに配置。ハッシュ衝突の危険性。
r5: 基本。rupasov改。大量ディレクトリや変なファイル名がない場合はこれでおk
tea: r5のハッシュのランダム性を上げたもの。r5より遅いがランダム性の割には負荷は低い。
(数値上ではrupasovは劣る。teaとr5は有意な差はなかった。)
マウントオプションの特徴:
notail: CPU負荷軽減、速度向上、レイテンシ縮小。断片化進行。
nolog: クラッシュ後の高速復帰を犠牲に性能向上。でも書き込み自体は行う。もう実装されてる?
block-allocator=noborder: 速度低下、断片化?使いどころ不明
block-allocator=hashed_relocation: ハッシュで再配置。notailと競合?
block-allocator=no_unhashed_relocation: 全ファイル強制ハッシュして再配置?CPU負荷軽減、性能向上
・オプション
nolog : 現在実装されているのかどうか不明。専ブラでは試さず。
数値上ではやnologやdata=writebackはなぜか劣った。mkreiserfsでジャーナルを小さくすれば変わる?
・2chブラウザ(V2C)での使用感:
ランダムでは勝っているのでext2を選ぶ理由はない。
notailは一般的な使用では性能向上が見込めそうだが専ブラには不向き?
ベンチマークと違ってrupasovが快適。
ディレクトリ数、ファイル数を大きくするとそれなりに性能に影響する。
ひょっとすると日本語ファイル名を使っている人はtea,rupasovがいいかも?
ログを貯めないで〜数百MBに限定して使うならdata=writebackも加えると特に快速
10年近くログを貯めつづけている人やopy2onを動す人もこれでいいんじゃないだろうか。
# mkreiserfs -h rupasov /dev/sda? と block-allocator=no_unhashed_relocation
rupasovハッシュがシステム領域での使用に耐えうる代物かどうかは自分には分からない。
0863login:Penguin
2009/09/27(日) 12:06:37ID:M+mZNcrN総ファイル数が100万クラスになったときの速度の落ちづらさが強みなんだから
小規模ならext3にdir_indexつける方が効率的
てか-n 4 程度だと余裕でdentry cacheに載って計測の意味無いだろJK
0864login:Penguin
2009/09/27(日) 22:15:42ID:oZGXzS+Uどれもやってらんねー。
0865815
2009/09/30(水) 21:37:22ID:3NM2SyUz[ 7.877555] REISERFS (device sda2): found reiserfs format "3.6" with non-standard journal
[ 7.878022] REISERFS (device sda2): using ordered data mode
[ 7.885083] REISERFS (device sda2): journal params: device sda2, size 32748, journal first block 18, max trans len 1024, max batch 900, max commit age 30, max trans age 30
[ 7.894492] REISERFS (device sda2): checking transaction log (sda2)
[ 7.927745] REISERFS (device sda2): Using r5 hash to sort names
[ 9.313704] udev: starting version 146
約20秒はデスクトップまでです。個人用途でこじんまりとまとめてあるからこの時間。
環境によって違うしRAID BIOS拝んだりしたら手間取るのも分かるけど、マウントだけで5分は眉唾です。
俺は信じないー
0866login:Penguin
2009/10/03(土) 23:21:27ID:dxeLlQTgそれは無理があるんだろうか?
0867login:Penguin
2009/10/04(日) 00:03:15ID:3KnJ43xsGCを別スレッドにしても意味なくね?
0868login:Penguin
2009/10/04(日) 08:33:08ID:u/WKxw+LGCが別スレッドになってないと
writeがババ抜きになってしまわないか?
カーネルスレッドにしないのはそのメリットがないからでは?
0869login:Penguin
2009/10/04(日) 09:00:30ID:H7vzXJqu・領域だけ確保した後、もの凄く時間をかけて断片を寄せ集めすんごい長時間でランダムに書き込んでいく。
・ファイル名がやたら長くて何でもあり
・常時CPU負荷が高い(定期的に低くはなる)
・必要なければ何ヶ月でも稼動しっぱなしだが、必要あれば一時停止は問題ない
0870login:Penguin
2009/10/04(日) 09:06:05ID:SrlVp56dtmpfs
0871login:Penguin
2009/10/04(日) 10:43:45ID:u/WKxw+L0872login:Penguin
2009/10/04(日) 10:51:47ID:SrlVp56d>すんごい長時間でランダムに書き込んでいく。
SSDだと結構寿命が減りそうだ。
ライトキャッシュを多量に確保するようなのがよくね?
0873login:Penguin
2009/10/04(日) 13:25:21ID:3KnJ43xsそれはp2pじゃなくて、ファイル交換だろ。
エロ動画集めて楽しいか?
0874login:Penguin
2009/10/04(日) 13:48:46ID:ImwJSiQJいや、 nilfs2 ってmount する時に /sbin/nilfs_cleanerd を起動してるよね
あれがGCやってんかなと思ったんだが…違うんかな
0875login:Penguin
2009/10/04(日) 14:57:53ID:I/v8yfpMファイルシステムより`sysctl -a | grep vm.dirty`
0876login:Penguin
2009/10/04(日) 15:07:54ID:I/v8yfpMいや、CONFIG_IOSCHED_DEADLINEでカーネルを再コンパイルした方が効果がある
0877login:Penguin
2009/10/04(日) 21:30:10ID:6UK6b70zCONFIG_TCP_CONGの値でもネットの反応が体感できるくらい全然違う。
ファイルシステムなんて飾りですよ。エロ(ry
0878login:Penguin
2009/10/04(日) 23:17:56ID:3KnJ43xsブートパラメータで elevator=deadline でいけるよ
0879login:Penguin
2009/10/05(月) 00:18:18ID:w6Oc5F4Wブート後でも
echo deadline > /sys/block/{ブロックデバイス}/queue/scheduler
で変えれるよ。
デバイス毎に変えれるから便利だよ
0880login:Penguin
2009/10/05(月) 00:22:28ID:qB3orKZF0881login:Penguin
2009/10/05(月) 00:34:03ID:3/+qlIaydeadline DB,RT向け
cfq デスクトップ向け。
0882login:Penguin
2009/10/05(月) 12:43:28ID:X5ARpTweメモリ上にファイルシステムを作成することでI/O負荷が減る。
必要に応じswapされるのでramfsと比べメモリが有効に活用される。
> エロ動画集めて楽しいか?
はい
> `sysctl -a | grep vm.dirty`
sysctl -a は、扱えるカーネルパラメータをすべて標準出力する。
grep vm.dirty は、その中から vm.dirtyを含むものを抽出する。
ということは、ファイルシステム以前にまず、
そのカーネルパラメータを調節してパフォーマンスの向上を図るべきということでしょうか
> CONFIG_IOSCHED_DEADLINEでカーネルを再コンパイル
> ブートパラメータで elevator=deadline
> ブート後でもecho deadline > /sys/block/{ブロックデバイス}/queue/scheduler
カーネルのI/Oスケジューラのパラメータを変更する。
カーネルからのI/O要求が割り当てられる期限を設定して応答性を確保、
更にディスクへの読み込み要求の優先順位を引き上げてDBの性能効率を上げる。
fsyncに弱いので注意
> CONFIG_IO_DELAY_NONE
遅延書き込みをしないオプションでしょうか
> CONFIG_TCP_CONG
CONFIG_TCP_CONG_???でTCPに関する調整が可能ということでしょうか
0883login:Penguin
2009/10/05(月) 12:43:56ID:qB3orKZFグ
れ
0884login:Penguin
2009/10/05(月) 13:45:29ID:X5ARpTweぬ
ぬ
0885login:Penguin
2009/10/05(月) 14:57:07ID:mdyytaYQCONFIG_TCP_CONG関連
net.ipv4.tcp_available_congestion_control
net.ipv4.tcp_allowed_congestion_control
>>878>>879
覚えとく。ありがと。
スレチだ。さらば
0886login:Penguin
2009/10/05(月) 15:20:43ID:sxZuIjr6一般的にはあってると思うけど、
MySQLのドキュメントには、MySQL 用には、 cfq が無難ってあった気がする。
一応補足。
0887login:Penguin
2009/10/05(月) 15:56:52ID:ErcoEsMrtmpfsやhugetlbfsやデバイスがSSDやハードRAIDな場合はnoopが最適だろうし環境によって違う。
I/O負荷も高めずnoopよりマシで一般的に"無難"な選択肢って意味でしょう。
procfsはいずれ終焉するんだっけ?
sysfsマンセー
0888login:Penguin
2009/10/05(月) 21:04:03ID:8skreQ5Hsysとprocで正しく棲み分けができるだけだろ。
0889login:Penguin
2009/10/05(月) 22:11:27ID:lHG1/+PTxfsマンセー
0890login:Penguin
2009/10/06(火) 09:56:28ID:djuu+ao6= cubic reno
ってやればいいの?
0891login:Penguin
2009/10/06(火) 10:37:14ID:x6Jjfbqkcubicとrenoはext3みたいな安全牌
まだP2Pの話してるならHighspeed-TCPでI/Oスケジューラがdeadlineはヤバイんじゃないかと。
足回りが足りてたら最高かも。
0892login:Penguin
2009/10/06(火) 10:50:23ID:djuu+ao6処理能力が足りてたらということでしょうか。
ありがとう。
0893login:Penguin
2009/10/06(火) 19:27:29ID:eUUuWuIohttp://pc11.2ch.net/test/read.cgi/linux/1092578512/
スレ違い。ここで思う存分やれ
0894login:Penguin
2009/10/07(水) 11:31:30ID:QOn40TiI0895login:Penguin
2009/10/07(水) 14:40:47ID:kTGIx28aオマエにゃ無理
0896login:Penguin
2009/10/07(水) 15:32:47ID:GKCaaGWuコマンド一発即復元くらいの手軽さと堅牢さが無いと
スナップショットの意味が無いし
■ このスレッドは過去ログ倉庫に格納されています