ファイルシステム総合スレ その10
■ このスレッドは過去ログ倉庫に格納されています
0001login:Penguin
2009/04/02(木) 20:57:26ID:AdLAWklr01 ttp://pc.2ch.net/test/read.cgi/linux/1006743807/
02 ttp://pc5.2ch.net/test/read.cgi/linux/1063025258/
03 ttp://pc8.2ch.net/test/read.cgi/linux/1101495293/
04 ttp://pc8.2ch.net/test/read.cgi/linux/1136695633/
05 ttp://pc8.2ch.net/test/read.cgi/linux/1152348695/
06 ttp://pc11.2ch.net/test/read.cgi/linux/1173530292/
07
08 ttp://pc11.2ch.net/test/read.cgi/linux/1190788761/
09 ttp://pc11.2ch.net/test/read.cgi/linux/1225001916/
●関連リンク
ext4
ttp://www.bullopensource.org/ext4/
reiserfs/reiser4
ttp://www.namesys.com/
xfs
ttp://oss.sgi.com/projects/xfs/
jfs
ttp://jfs.sourceforge.net/
nfs
ttp://nfs.sourceforge.net/
ntfs
ttp://www.linux-ntfs.org/doku.php
fuse
ttp://fuse.sourceforge.net/
btrfs
ttp://btrfs.wiki.kernel.org/index.php/Main_Page
NILFS2 (NTT)
ttp://www.nilfs.org/ja/
0730login:Penguin
2009/09/03(木) 22:32:44ID:1emXHjluこのベンチマークの不思議なこと
・320SCSIという、今となっては低速なHDDをあえて選択している
俺もST336732LWやST373454LW、Atlas 10k IV&V、Atlas 15k IIを愛用していたSCSI原理主義者
だったので良く分かるが、今となってはSASでないSCSIは低速なデバイスでしかなく、ぶっちゃけ
ST336732LWなんて2世代前のRaptorやAtlas 10k Vより全ての面で遅く、ST373454LWですら現行Raptorには及ばない。
回転数が高ければHDDの速度、得にランダムアクセスが速くなるなんて幻想。
HDDの速度を決めるのは、HDDが作られた「世代」につきる。2世代も離れたらもうね・・・
ましてやHDDやSCSIアダプタの型番すら書かないなんて論外。
・HDDによってランダムアクセスに強い製品や、RAIDを組んだ時に遅くなりにくい製品、
単体で使うのが一番速い製品など色々と特徴があるのは常識だが、このベンチマークでは
型番すらないSCSI HDDの一騎がけのみのベンチマークであるにも関わらず、ファイルシステムの評論をしている。
・ベンチマークの仕方がbonnie++だけという、意味があるんだか無いんだか分からないベンチマーク
最低限、linux kernelの展開に掛った時間だとか、全文検索アプリ(例えばEstraierとか)のインデックス作成に掛った時間とか
DVD ISOイメージのコピー・削除に掛った時間とか、色々とやり方はあるだろうに、あえてbonnie++だけ。意味あるのかと。
・一部のJFSのベンチマーク結果が異常に低いが、その事には一切触れず
また、やり方や環境構築にミスがあったとも考えない、幸せ指向なベンチマーク。
0731login:Penguin
2009/09/03(木) 22:33:55ID:WwZ4h9O/文系脳のベンチマークってやつ?
0732login:Penguin
2009/09/03(木) 23:50:17ID:v9Io1Ht20733login:Penguin
2009/09/03(木) 23:51:45ID:ZdVEs5wD0734login:Penguin
2009/09/04(金) 01:28:32ID:l63+Dyycベンチマークなんだから、定量的なことはわからないんだよ。
米の糖度をいくら正確に測っても、料理の味は決まらない。
ベンチマークの数値を鵜呑みにせず、定性的な傾向を把握できればいいんだよ。
0735login:Penguin
2009/09/04(金) 12:32:41ID:Fok7DRlsファイルシステムの機嫌が良い日と機嫌が悪い日を察するとか
そういうの?
0736login:Penguin
2009/09/04(金) 12:39:43ID:BIskKf5vベンチマークだから定量的なことしかわからないんじゃ?
0737login:Penguin
2009/09/04(金) 14:32:56ID:l63+Dyyc数値で結果が出るから定量的な指標となる、
と思ってしまうのが、ベンチマークの罠だと思う。
0738login:Penguin
2009/09/04(金) 14:45:52ID:BIskKf5v数値を出さない定量的な指標ってあるの?
0739login:Penguin
2009/09/04(金) 19:30:58ID:l63+Dyyc数値で結果が出るのは十分条件じゃなくて、必要条件なので、
ベンチマークは数値が出るからと言って定量的という訳ではないってこと。
もちろん、実際に稼働中の実システムで統計を取ったベンチマークは、
そのシステムにおける定量的な指標になり得るけどな。
それ以外の一般的なベンチマークは、定性的な傾向しかわからんよ。
無理に定量的に理解しようとすると >>730 みたいになる。
0740login:Penguin
2009/09/04(金) 21:38:09ID:BUDJTh40性能が必要なDBを作るならNILFS2が向かなさそうなことはベンチ結果から見てとれた。
俺ならシーケンシャルIOがいけてるっぽいext4、XFS、ReiserFSをまず候補にするな。
考察にも書いてあるが、NILFS2にはスナップショットの機能があるし、
NILFS2の安定版が出たらSambaのファイルサーバ用途とかでは使えそうだ。
メールサーバならランダムIOがいけてるっぽいext3、ext4、ReiserFSがまず候補。
公開されているベンチ結果なんて、所詮こういう使い方じゃね?
で、実環境にミドルウェアとかアプリを乗せて、自分で最終確認するのが大原則だ。
>>724
だから、1ファイルシステムを2日に分けてベンチしてるんじゃね?
条件は一緒のはずなのにいつもより性能が出ない日というのは確かにあるからな。
で、それでもベンチ結果に誤差はありますよ、と書いてある。
>>726
Ubuntu 9.10で解消されている話。詳しくは↓
https://forums.ubuntulinux.jp/viewtopic.php?id=5327
0741login:Penguin
2009/09/04(金) 22:15:05ID:eIcGAGpGひたすらベンチマークしかしてないような感じだが
0742login:Penguin
2009/09/04(金) 22:23:37ID:l63+Dyycマシンやパーテーションの用途によってファイルシステムを使い分けられるのが
Linuxの良いところだと考えると、構築Tipsになるじゃん!
・・・だめ?
0743login:Penguin
2009/09/04(金) 22:27:58ID:dszZlRA10744login:Penguin
2009/09/04(金) 22:29:12ID:hWPP+mOR0745login:Penguin
2009/09/04(金) 22:32:35ID:medVVj1W0746login:Penguin
2009/09/04(金) 22:51:44ID:BUDJTh40ファイルシステムとしてext3しか知らない連中にとっては結構なTipsだったかもね。
この板に出入りしているオマイラにはTipsでもなんでもないんだろうけどさー
0747login:Penguin
2009/09/04(金) 22:57:55ID:cJIr+IgL地雷がわかる程度か
0748login:Penguin
2009/09/04(金) 23:02:03ID:hR6bX513fsが多少遅いのは問題なくても、
OSごと固まるのは地雷と言ってもいいと思う。
0749login:Penguin
2009/09/04(金) 23:10:06ID:BUDJTh40確かに。Ubuntu9.04のext4は地雷踏みそうというのが分かった。
730が指摘してるようにUbuntu9.10のJFSはシーケンシャルライトがダメダメで
これも地雷っぽいな。再現した人いる?
第一回を見ると、Ubuntu9.04ではJFSも悪くないんだよね。
Ubuntu9.10でも正式リリースの頃には結果が変わっているかも。
0750login:Penguin
2009/09/05(土) 00:45:03ID:OTIeQwIl思えばext3が出たばかりの頃もext2に比べてトラブルまくりだったし。
0751login:Penguin
2009/09/05(土) 02:44:50ID:04v/j8aE0752login:Penguin
2009/09/06(日) 04:33:55ID:oZEFrl9qされてるわけがない・・・
0753login:Penguin
2009/09/06(日) 10:52:55ID:H61tC/K7$ grep '^ ext2:' ChangeLog-2.6.30 |wc -l
4
$ grep '^ ext3:' ChangeLog-2.6.30 |wc -l
12
$ grep '^ ext4:' ChangeLog-2.6.30 |wc -l
49
$ grep '^ reiserfs:' ChangeLog-2.6.30 |wc -l
47
$ grep '^ reiser4:' ChangeLog-2.6.30 |wc -l
0
$ grep '^ jfs:' ChangeLog-2.6.30 |wc -l
6
$ grep '^ xfs:' ChangeLog-2.6.30 |wc -l
65
$ grep '^ btrfs:' ChangeLog-2.6.30 |wc -l
2
$ grep '^ nilfs2:' ChangeLog-2.6.30 |wc -l
65
$ grep '^ nfs:' ChangeLog-2.6.30 |wc -l
3
0754login:Penguin
2009/09/06(日) 16:03:37ID:mLF5287rbonnie++やIOzoneで1週間負荷をかけ続けるとか、そんな感じ?
0755login:Penguin
2009/09/06(日) 21:27:07ID:Wp8w55Q4そんなものが信頼性になるのかはしらんが
0756login:Penguin
2009/09/06(日) 22:33:16ID:GI5dE/j3安定性の評価は大変だぞ。手法論的に。
0757login:Penguin
2009/09/06(日) 23:12:15ID:3X0QxlvX0758login:Penguin
2009/09/06(日) 23:44:32ID:zCors7qmreiser4、かわいそうだな…。
reiser4に春は来るのだろうか…。
0759login:Penguin
2009/09/06(日) 23:53:03ID:oZEFrl9q0760login:Penguin
2009/09/07(月) 14:27:15ID:irG6WRrNうを、Btrfsの開発大丈夫なの? Oracleはやる気失っちゃった?
0761login:Penguin
2009/09/07(月) 15:53:26ID:MXKkyeqkよくしらんが、本家ページ見ると
0.18が2.6.29で、0.19が2.6.31みたいだから2.6.30では特に変化無かったのかもね。
0762login:Penguin
2009/09/07(月) 16:02:22ID:KqXlaO+kbtrfsprogs0.19で作ったファイルシステムは、2.6.30以前のカーネルでは読めなくなるらしいね。
0763login:Penguin
2009/09/07(月) 16:37:30ID:usSRMi9H0764login:Penguin
2009/09/07(月) 17:11:34ID:iBhE16g80765login:Penguin
2009/09/07(月) 17:16:17ID:x4HLPBqD0766login:Penguin
2009/09/07(月) 18:06:27ID:EXMiBcjf0767login:Penguin
2009/09/07(月) 23:23:30ID:lwFYYS2f>>756
>>759
ありがとう。ファイルシステムの安定性・信頼性に関しては、
これっていうベンチマークとか評価手法をWebで見付けられないんだよなぁ。
各社さんの貴重なノウハウだから、タダで表には出てこないってところかな?
0768login:Penguin
2009/09/08(火) 22:17:56ID:oPYlyRcAなるほど。最後はMILFsに(ry
0769login:Penguin
2009/09/08(火) 23:05:54ID:xzM1y3n7NFSはメジャーだけど、アクセス管理がアレゲなので面倒。
WANからも利用したいから、なるべくセキュアなものがいいんだが。。
0770login:Penguin
2009/09/08(火) 23:13:18ID:KlcQeG0Ppohmelfs
0771login:Penguin
2009/09/09(水) 00:33:19ID:g3D+JiDvありがとう。
さっそく人柱になるよ。
0772login:Penguin
2009/09/09(水) 01:28:06ID:NYs3AwwPSSDをめぐる議論に浮かび上がるベンダ模様
http://www.atmarkit.co.jp/flinux/rensai/watch2009/watch08a.html
TRIMなんてアテにしてなかったけど使い物になるならそれはそれで良きかな
0773login:Penguin
2009/09/09(水) 01:45:35ID:kDa2N0cK単純に選択肢にならないから、どうでもいいけどね>SSD絡み
0774login:Penguin
2009/09/09(水) 02:19:23ID:Q3Oe4C5K> また、所要時間はTRIMの発行数に比例するが、1つのTRIMで消すサイズにはほとんど比例しないそうです。
> 彼によると「rm -rf /usr/src/linux」はTRIMで30分以上(!)もの時間を費やすけれど、
> 50GB+のシングルエクステントは消去するのに数秒しかかからなかったとのこと。
クソワラタ
カーネルソース削除で30分って、TRIM実装すんなって言われて当然だろ
とりあえず実装してしまって、クソハードに「windows専用」のレッテル貼ってしまうのも手だと思うけどな
0775login:Penguin
2009/09/09(水) 04:52:05ID:ol4Nzc2ZOSSなBIOSがあればもっと話は簡単になりそう。
0776login:Penguin
2009/09/09(水) 04:53:04ID:ol4Nzc2ZBIOS→ファームウェア
0777login:Penguin
2009/09/09(水) 05:31:48ID:PAQMReSq安くするためにそうなるのはわからんでもないが…
0778login:Penguin
2009/09/09(水) 18:52:07ID:XVGdMI4vSSDの価格を考えると、
数MBのキャッシュがコスト的に問題になるとは考えにくいが・・・。
0779login:Penguin
2009/09/09(水) 19:07:23ID:9Mpz0HQdフラッシュメモリの特性なんだからしょうがない。
それを上手に隠蔽するためにも、コントローラ側の改善とSSDに適したFSが望まれる。
0780login:Penguin
2009/09/09(水) 19:10:48ID:XVGdMI4v俺も遠隔地とのnfsの代替手段探してるんだ。
期待してるぜ。
0781login:Penguin
2009/09/09(水) 19:54:55ID:g3D+JiDvいまカーネルコンパイル中。
君も人柱となれ!
0782login:Penguin
2009/09/10(木) 00:05:56ID:dK4dgFZWセキュアが好きなら Kerberos と AFS でも使っておけば・・・まあ人柱が好きな人には勧めないが
0783login:Penguin
2009/09/11(金) 23:52:53ID:I4yrGSQ+パフォーマンスはショボイだろうけどセキュアだろう。
0784login:Penguin
2009/09/12(土) 00:01:26ID:iI00hN0zSFTPの仕様上、使えないシステムコールもあるのが残念だった。
たとえばlink(2)を呼び出すと Not Implemeted と言われる。
0785login:Penguin
2009/09/12(土) 00:24:21ID:pOS/oIpq0786login:Penguin
2009/09/12(土) 18:04:04ID:UBFPOEoW現状そうしてます。
速度も結構出てる。
そう言えば、fscached が動かないんですよね・・・。
0787login:Penguin
2009/09/14(月) 03:08:03ID:ueK3wYLxでかいファイルを作成する時間はext3の2倍弱ぐらいかかるけど。
0788login:Penguin
2009/09/14(月) 12:20:29ID:N9qSdTFhGCが実装されてからは、SSDの普及もあいまって、いきなり実用的になっちゃった。
0789login:Penguin
2009/09/14(月) 22:23:25ID:A/G7rJlM安定性や不具合はどうなんだろう?
0790login:Penguin
2009/09/14(月) 23:11:21ID:vbkhczLAサーバ運用はしてないがSSDのノートでNILFS2使ってたらどこかのマッピングが
壊れたのか、ディレクトリが読めなくなったり mount できなくなったりした…
0791login:Penguin
2009/09/15(火) 18:17:39ID:SX8MjkBWバージョンは?
0792login:Penguin
2009/09/16(水) 00:50:33ID:2te4vzEXKernel 2.6.30 で nilfs-utils-2.0.13
mount できなくなってたのは / の inode が壊れてたぽいんだよね。
bogus imode って出てたし
0793login:Penguin
2009/09/16(水) 07:20:35ID:nI44nyROext3 で良いじゃん。
仕事のメイン環境が Linux で、nVidia とか VMware とか、
プロプリエイタリなドライバ入れることもある私としては、
奴らが試験に使っていそうで、一番枯れていそうな ext3 が良いと思っている。
(あくまで推測なのが悲しいけれど、RHEL のデフォルトなんだから試験してるだろ。)
ヒトバシラーになってみたいとかパフォーマンスがうんぬんとか、
そういう方はこちらのスレにお住まいの皆さんと交流してください。
>> スレの皆様
下記のような経緯で見知らぬ奴らが来るかもしれません。遊んでやってください。
http://pc11.2ch.net/test/read.cgi/linux/1251356663/306-352
0794login:Penguin
2009/09/16(水) 10:12:22ID:ZTeRHZXm自治厨房はコチラで引き取りますので・・・
0795login:Penguin
2009/09/16(水) 13:58:10ID:3J121Znd0796login:Penguin
2009/09/16(水) 14:15:36ID:RJIgMBeyttp://userweb.kernel.org/~akpm/mmotm/broken-out/
へ移動しますた。
誰か骨を拾ってあげてくらはい。
0797login:Penguin
2009/09/16(水) 19:39:23ID:UJcLYraYそのうちext4にでも移行するか。
0798login:Penguin
2009/09/16(水) 21:26:31ID:uGxSPocoファイルのfs内移動 → Sequential Create/Random Createのcreate/deleteのうち最低値
ディレクトリリスティング → Sequential/Random Createの Read のうち低い方
5TB3000万ファイルほどで、ディレクトリリスティングと
ファイルの移動が多いので上記のような基準で検討していまして、
いまのところreiser3が最有力なのですが問題ありそうでしょうか?
0799login:Penguin
2009/09/16(水) 22:52:50ID:Tl/wx3w4あとマウント時間が分単位。
0800login:Penguin
2009/09/16(水) 23:27:09ID:V6HHYy1n>>799
スケールしないというのは容量?速度?
容量でしたら8TBに達するのはずいぶん先に見積もっていて(増加ペースが鈍い)、
先にリプレースが来そうなのであまり問題視していません。
速度ですと、約100万ファイルまで増やしながらテストした際に最も
遅くなりづらかったのがreiser3という結果が出たので…。何か変なのかな…。
マウント時間が分単位というのも、自宅用ファイルサーバで
立ち上げっぱなしなので起動時のみの時間ペナルティと判断しています。
いろいろ後出しですみません
0801login:Penguin
2009/09/17(木) 08:41:23ID:lwWWpZYR0802login:Penguin
2009/09/17(木) 09:14:43ID:imVaodyKスケールしないのはコンカレントアクセス。
個人で使うならいいんじゃないの?
0803login:Penguin
2009/09/17(木) 09:23:17ID:8K0Ea6hu2TBのボリュームをReiserFSで使ってるけどマウントは5分くらいかかるよ。
0804login:Penguin
2009/09/17(木) 10:18:03ID:eygHzDXf0805login:Penguin
2009/09/17(木) 23:42:40ID:hqfb/bz2BKLか、了解ー
0806login:Penguin
2009/09/18(金) 21:00:52ID:fWyof+eR大体からして、CONFIG_PREEMPT関連がカーネルに導入された経緯のひとつに
BKL処理の効率化があった事はあまりに有名
未だにジャーナルの処理に一々BKLかけるReiserFSは
今、あえて選択する必要のないFSではあるけど
BKLのせいで並列アクセスがスケールしないとか言うのであれば大間違い
そもそもBKLがどうやって処理されているのかソースを読んで理解すべき
つーか、今は亡きCK kernelが、どうしてext3とReiserFSだけを推奨し、他を非推奨にしたのかをもっと考えるべき
CKがパッチの提供を辞めてから、色々とLinuxで使えるFSも増えたし、改良もされたけど
俺は未だにext[34]とreiser[34]以外のFSはクソだと思っているよ
0807login:Penguin
2009/09/18(金) 23:29:04ID:lWlnTusCとか
読んで理解すべき
としか言わない奴は十中八九自分では説明できない
0808login:Penguin
2009/09/18(金) 23:29:47ID:cB7i7bsS0809login:Penguin
2009/09/18(金) 23:42:30ID:lWlnTusC0810login:Penguin
2009/09/18(金) 23:59:15ID:BrKFjTEPしらんがな
0811login:Penguin
2009/09/19(土) 00:04:18ID:LBONijMH0812login:Penguin
2009/09/19(土) 00:26:49ID:YH6i3rVh0813login:Penguin
2009/09/19(土) 00:51:48ID:ZNMyo7Z+あの頃はデスクトップではUPが普通だったから、マルチコア時代の現代とは単純に比較できないような
0814login:Penguin
2009/09/19(土) 04:05:10ID:nzH+YeBAトンスルお待ち!
0815login:Penguin
2009/09/20(日) 13:19:53ID:wV9s5HBg300GBの話で参考にならないかも知れんが一連の起動時間全体で20秒くらいです。
mkfsのパラメータやマウントオプション、ハードウェア、いろいろあるけど
きっと君は間違ってるw
0816login:Penguin
2009/09/20(日) 13:25:28ID:7/vSTIy+これを「スケールしない」と言います
0817login:Penguin
2009/09/20(日) 14:18:12ID:C1QJ3cI8パーティションがでかくなるとそういう弊害もあるんだなw
0818login:Penguin
2009/09/20(日) 14:30:24ID:Lx3Z4LGXというか、未だに1セクタ512バイトが最小単位なのか。。
0819login:Penguin
2009/09/20(日) 14:38:49ID:wV9s5HBgスケーラビリティがないこと
キャップしない
キャパビリティがないこと
リライしない
リライアビリティがないと
訳のわかんない事いうのやめようよ・・
もうすでに標準なの?
0820login:Penguin
2009/09/20(日) 14:39:52ID:Lx3Z4LGXttp://dictionary.goo.ne.jp/leaf/ej2/63793/m0u/scale/
0821login:Penguin
2009/09/20(日) 17:41:51ID:OY0QxSDJキャップしないって何だよwそいつはお断りだ
しないとできないは違う
信頼しないのと信頼性がないのは違う
スケーラビリティで使われてるのは拡大縮小可能もしくは比例しうるって意味。
スケールしないは比例しないの意味だろうが
比例しないって書けよ
チェンジとかスイーツとかファイルシステムとか
なんで片仮名ばっかり使うのバカなの死ぬのw?
0822login:Penguin
2009/09/20(日) 18:43:19ID:YJrAu4JI0823login:Penguin
2009/09/20(日) 20:38:21ID:W9OGi4v10824login:Penguin
2009/09/20(日) 20:48:48ID:6W0WwjBm0825login:Penguin
2009/09/20(日) 21:12:08ID:YJrAu4JI敵は正確な発音ならカタカナではこう厨。
0826login:Penguin
2009/09/21(月) 08:53:39ID:6BBUoYSsヘプバーンとヘップバーンとヘボンは異字同義語
# mkreiserfs -t 512 -h rupasov /dev/sda9
mount -r reiserfs /dev/sda9 /hoge/hage -o noatime,nodiratime,block-allocator=border,data=writeback
2chブラウザとログ置き場をこれにしてみたら、うっひょー。
マジおすすめ
rupasovはハッシュがダブるって書いてあるが実際にどうなのかしばらく試してみる。
ライトバックなのは2chログだから。
効果は不明だが
manの表記が不正なんでこう書かないとブロックの割り当てが変更できない。
block-allocator=border (hashed_relocation, no_unhashed_relocation, noborder)
http://web.archive.org/web/20070809124305/http://www.namesys.com/mount-options.html
0827login:Penguin
2009/09/21(月) 12:11:29ID:uDbg8rz1スレチですまんが2chブラウザは何使ってるの?
0828login:Penguin
2009/09/21(月) 18:27:20ID:ChTxPFKEうちも360GBで参考にならないかもしれないけど
確かにジャーナルの最大サイズは100数十MBかもしれないけど
マウントって零コンマ何秒?ってくらいで全く引っかからないよ。
0829login:Penguin
2009/09/21(月) 18:42:30ID:B/OHxQzKそのサイズだとまだまだだな
指数関数って怖いよな
0830login:Penguin
2009/09/21(月) 19:12:45ID:SXdmmE3Sゑ? O(n)じゃなくて、O(n^2)すら超えてO(e^n) なの? なんでマウントに
そんなわけのわからんアルゴリズム使っているんだ?
■ このスレッドは過去ログ倉庫に格納されています