ファイルシステム総合スレ その10
■ このスレッドは過去ログ倉庫に格納されています
0001login:Penguin
2009/04/02(木) 20:57:26ID:AdLAWklr01 ttp://pc.2ch.net/test/read.cgi/linux/1006743807/
02 ttp://pc5.2ch.net/test/read.cgi/linux/1063025258/
03 ttp://pc8.2ch.net/test/read.cgi/linux/1101495293/
04 ttp://pc8.2ch.net/test/read.cgi/linux/1136695633/
05 ttp://pc8.2ch.net/test/read.cgi/linux/1152348695/
06 ttp://pc11.2ch.net/test/read.cgi/linux/1173530292/
07
08 ttp://pc11.2ch.net/test/read.cgi/linux/1190788761/
09 ttp://pc11.2ch.net/test/read.cgi/linux/1225001916/
●関連リンク
ext4
ttp://www.bullopensource.org/ext4/
reiserfs/reiser4
ttp://www.namesys.com/
xfs
ttp://oss.sgi.com/projects/xfs/
jfs
ttp://jfs.sourceforge.net/
nfs
ttp://nfs.sourceforge.net/
ntfs
ttp://www.linux-ntfs.org/doku.php
fuse
ttp://fuse.sourceforge.net/
btrfs
ttp://btrfs.wiki.kernel.org/index.php/Main_Page
NILFS2 (NTT)
ttp://www.nilfs.org/ja/
0702login:Penguin
2009/08/25(火) 12:56:23ID:lufMfa+G誰か作ってちょ
0703login:Penguin
2009/08/25(火) 13:25:36ID:Ynipj+Uz0704login:Penguin
2009/08/25(火) 13:46:36ID:27Llmryywinnyfs を実装するときが来たか。
0705login:Penguin
2009/08/25(火) 15:01:25ID:rMDnS/SS0706login:Penguin
2009/08/25(火) 15:10:33ID:rVcXlX+80707login:Penguin
2009/08/25(火) 18:21:40ID:ap/+zt18海外行ったときなんて日本では完全に合法なものでもアウトになっちゃうし。
0708login:Penguin
2009/08/27(木) 20:03:17ID:OwDvsT+Dhttp://lwn.net/Articles/342892/
0709login:Penguin
2009/08/27(木) 21:09:34ID:5I7Zy1ic0710login:Penguin
2009/08/27(木) 22:17:14ID:Lm4kVIxu0711login:Penguin
2009/08/28(金) 01:40:36ID:PybCg++gファイルは海外だし分断されるし
冗長性も確保できるな。
あれ誰か来たよ(ry
0712login:Penguin
2009/08/28(金) 10:00:18ID:3cErYICB0713login:Penguin
2009/08/28(金) 15:50:17ID:JuTWH5Ln兄さんそれ双方向スタンバイ…
0714login:Penguin
2009/08/31(月) 20:21:40ID:hlVG4OeUあとからinodeのサイズを確認するには
なんてコマンドを使えば委員だっけ?
0715login:Penguin
2009/08/31(月) 20:27:18ID:czE5p4HU0716login:Penguin
2009/08/31(月) 20:32:08ID:hlVG4OeUおおありがとう
0717login:Penguin
2009/08/31(月) 23:40:39ID:NM/F4JQTZFSが鉄板なのかなぁ
0718login:Penguin
2009/08/31(月) 23:47:41ID:QJZeUh74ホントに
0719login:Penguin
2009/09/01(火) 19:14:59ID:2tx1Usqtnativeで実装されれば、ほかのfsと同じぐらいなんだろうけどな。。。
0720login:Penguin
2009/09/02(水) 14:05:40ID:wWBxl7sL64bit環境じゃないと使えなさそう。
0721login:Penguin
2009/09/02(水) 17:17:52ID:k2E6GSj064bit 環境前提にしたって「今時は普通64bit」だよね
1万円強の激安サーバとかだって64bit な時代だし
0722login:Penguin
2009/09/02(水) 22:43:05ID:GiXsIMx10723login:Penguin
2009/09/02(水) 23:12:40ID:nqxR64uoシーケンシャルアクセスの性能は結構よさそうだ。グラフを見てみて。
Linuxファイルシステムベンチマーク第2回 ext3,ext4,JFS,ReiserFS,XFS,NILFS2
http://plaza18.mbn.or.jp/~moriban/linux/FileSystemBenchmarkResults-01.html
(引用)
シーケンシャルアクセスの性能比較では、ext4、XFS、ReiserFSの性能の高さが目立つ結果となりました。
ランダムアクセス 及び メタデータ操作の性能比較では、ext3、ext4、ReiserFSが全体のバランスが取れており、総合的に性能の高さが目立つ結果となりました。
0724login:Penguin
2009/09/02(水) 23:25:15ID:9doIYiKA>私は経験的に、HDDには「機嫌が良い日/機嫌が悪い日」があることを知っています
0725login:Penguin
2009/09/02(水) 23:44:45ID:vemvobjw>ext4 (※ bonnie++ 実行中に毎回OSがフリーズするため中止)
コーヒー吹いた
0726725
2009/09/02(水) 23:49:00ID:vemvobjw第二回はこっちね
http://plaza18.mbn.or.jp/~moriban/linux/FileSystemBenchmarkResults-02.html
こちら(Ubuntu 9.10)では ext4の不具合が解消されてるらしい。
0727login:Penguin
2009/09/03(木) 00:01:16ID:pDX9eyYg0728login:Penguin
2009/09/03(木) 00:47:11ID:8kyyBkpc同じような試験を手元でやったけど、
bonnie++で結果が出ないことはザラにあった。
ext4に限らないが、当時のext4+bonnie++ではダメだった記憶がある。
OSフリーズはしなかったが。
0729login:Penguin
2009/09/03(木) 02:54:22ID:qQvyibMphttp://www.chineselinuxuniversity.net/courses/using/articles/24242.shtml
Comparison of File Systems And Speeding Up Applications
http://www.amitshah.net/2009/03/comparison-of-file-systems-and-speeding.html
Re-comparing file systems
http://www.amitshah.net/2009/04/re-comparing-file-systems.html
NILFS: A File System to Make SSDs Scream
http://www.linux-mag.com/id/7345/2/
SquashFS: Not Just for Embedded Systems
http://www.linux-mag.com/cache/7357/1.html
Creating and using squashed file systems
http://tldp.org/HOWTO/SquashFS-HOWTO/creatingandusing.html
>>293
xfs_estimate -im /usr/src
/usr/src will take about 0.5 megabytes
http://linux.mini13i.gotdns.org/filesystem/xfs.html
2002年4月01日の
http://www.ibm.com/developerworks/jp/linux/library/l-fs10/index.html
ちょっと古い情報かもしれないけど、
なんとなくext3より快適な気がする程度で使ってたxfsだが
激しく一長一短でそれを踏まえて全体的に高評価されてるってこと?
0730login:Penguin
2009/09/03(木) 22:32:44ID:1emXHjluこのベンチマークの不思議なこと
・320SCSIという、今となっては低速なHDDをあえて選択している
俺もST336732LWやST373454LW、Atlas 10k IV&V、Atlas 15k IIを愛用していたSCSI原理主義者
だったので良く分かるが、今となってはSASでないSCSIは低速なデバイスでしかなく、ぶっちゃけ
ST336732LWなんて2世代前のRaptorやAtlas 10k Vより全ての面で遅く、ST373454LWですら現行Raptorには及ばない。
回転数が高ければHDDの速度、得にランダムアクセスが速くなるなんて幻想。
HDDの速度を決めるのは、HDDが作られた「世代」につきる。2世代も離れたらもうね・・・
ましてやHDDやSCSIアダプタの型番すら書かないなんて論外。
・HDDによってランダムアクセスに強い製品や、RAIDを組んだ時に遅くなりにくい製品、
単体で使うのが一番速い製品など色々と特徴があるのは常識だが、このベンチマークでは
型番すらないSCSI HDDの一騎がけのみのベンチマークであるにも関わらず、ファイルシステムの評論をしている。
・ベンチマークの仕方がbonnie++だけという、意味があるんだか無いんだか分からないベンチマーク
最低限、linux kernelの展開に掛った時間だとか、全文検索アプリ(例えばEstraierとか)のインデックス作成に掛った時間とか
DVD ISOイメージのコピー・削除に掛った時間とか、色々とやり方はあるだろうに、あえてbonnie++だけ。意味あるのかと。
・一部のJFSのベンチマーク結果が異常に低いが、その事には一切触れず
また、やり方や環境構築にミスがあったとも考えない、幸せ指向なベンチマーク。
0731login:Penguin
2009/09/03(木) 22:33:55ID:WwZ4h9O/文系脳のベンチマークってやつ?
0732login:Penguin
2009/09/03(木) 23:50:17ID:v9Io1Ht20733login:Penguin
2009/09/03(木) 23:51:45ID:ZdVEs5wD0734login:Penguin
2009/09/04(金) 01:28:32ID:l63+Dyycベンチマークなんだから、定量的なことはわからないんだよ。
米の糖度をいくら正確に測っても、料理の味は決まらない。
ベンチマークの数値を鵜呑みにせず、定性的な傾向を把握できればいいんだよ。
0735login:Penguin
2009/09/04(金) 12:32:41ID:Fok7DRlsファイルシステムの機嫌が良い日と機嫌が悪い日を察するとか
そういうの?
0736login:Penguin
2009/09/04(金) 12:39:43ID:BIskKf5vベンチマークだから定量的なことしかわからないんじゃ?
0737login:Penguin
2009/09/04(金) 14:32:56ID:l63+Dyyc数値で結果が出るから定量的な指標となる、
と思ってしまうのが、ベンチマークの罠だと思う。
0738login:Penguin
2009/09/04(金) 14:45:52ID:BIskKf5v数値を出さない定量的な指標ってあるの?
0739login:Penguin
2009/09/04(金) 19:30:58ID:l63+Dyyc数値で結果が出るのは十分条件じゃなくて、必要条件なので、
ベンチマークは数値が出るからと言って定量的という訳ではないってこと。
もちろん、実際に稼働中の実システムで統計を取ったベンチマークは、
そのシステムにおける定量的な指標になり得るけどな。
それ以外の一般的なベンチマークは、定性的な傾向しかわからんよ。
無理に定量的に理解しようとすると >>730 みたいになる。
0740login:Penguin
2009/09/04(金) 21:38:09ID:BUDJTh40性能が必要なDBを作るならNILFS2が向かなさそうなことはベンチ結果から見てとれた。
俺ならシーケンシャルIOがいけてるっぽいext4、XFS、ReiserFSをまず候補にするな。
考察にも書いてあるが、NILFS2にはスナップショットの機能があるし、
NILFS2の安定版が出たらSambaのファイルサーバ用途とかでは使えそうだ。
メールサーバならランダムIOがいけてるっぽいext3、ext4、ReiserFSがまず候補。
公開されているベンチ結果なんて、所詮こういう使い方じゃね?
で、実環境にミドルウェアとかアプリを乗せて、自分で最終確認するのが大原則だ。
>>724
だから、1ファイルシステムを2日に分けてベンチしてるんじゃね?
条件は一緒のはずなのにいつもより性能が出ない日というのは確かにあるからな。
で、それでもベンチ結果に誤差はありますよ、と書いてある。
>>726
Ubuntu 9.10で解消されている話。詳しくは↓
https://forums.ubuntulinux.jp/viewtopic.php?id=5327
0741login:Penguin
2009/09/04(金) 22:15:05ID:eIcGAGpGひたすらベンチマークしかしてないような感じだが
0742login:Penguin
2009/09/04(金) 22:23:37ID:l63+Dyycマシンやパーテーションの用途によってファイルシステムを使い分けられるのが
Linuxの良いところだと考えると、構築Tipsになるじゃん!
・・・だめ?
0743login:Penguin
2009/09/04(金) 22:27:58ID:dszZlRA10744login:Penguin
2009/09/04(金) 22:29:12ID:hWPP+mOR0745login:Penguin
2009/09/04(金) 22:32:35ID:medVVj1W0746login:Penguin
2009/09/04(金) 22:51:44ID:BUDJTh40ファイルシステムとしてext3しか知らない連中にとっては結構なTipsだったかもね。
この板に出入りしているオマイラにはTipsでもなんでもないんだろうけどさー
0747login:Penguin
2009/09/04(金) 22:57:55ID:cJIr+IgL地雷がわかる程度か
0748login:Penguin
2009/09/04(金) 23:02:03ID:hR6bX513fsが多少遅いのは問題なくても、
OSごと固まるのは地雷と言ってもいいと思う。
0749login:Penguin
2009/09/04(金) 23:10:06ID:BUDJTh40確かに。Ubuntu9.04のext4は地雷踏みそうというのが分かった。
730が指摘してるようにUbuntu9.10のJFSはシーケンシャルライトがダメダメで
これも地雷っぽいな。再現した人いる?
第一回を見ると、Ubuntu9.04ではJFSも悪くないんだよね。
Ubuntu9.10でも正式リリースの頃には結果が変わっているかも。
0750login:Penguin
2009/09/05(土) 00:45:03ID:OTIeQwIl思えばext3が出たばかりの頃もext2に比べてトラブルまくりだったし。
0751login:Penguin
2009/09/05(土) 02:44:50ID:04v/j8aE0752login:Penguin
2009/09/06(日) 04:33:55ID:oZEFrl9qされてるわけがない・・・
0753login:Penguin
2009/09/06(日) 10:52:55ID:H61tC/K7$ grep '^ ext2:' ChangeLog-2.6.30 |wc -l
4
$ grep '^ ext3:' ChangeLog-2.6.30 |wc -l
12
$ grep '^ ext4:' ChangeLog-2.6.30 |wc -l
49
$ grep '^ reiserfs:' ChangeLog-2.6.30 |wc -l
47
$ grep '^ reiser4:' ChangeLog-2.6.30 |wc -l
0
$ grep '^ jfs:' ChangeLog-2.6.30 |wc -l
6
$ grep '^ xfs:' ChangeLog-2.6.30 |wc -l
65
$ grep '^ btrfs:' ChangeLog-2.6.30 |wc -l
2
$ grep '^ nilfs2:' ChangeLog-2.6.30 |wc -l
65
$ grep '^ nfs:' ChangeLog-2.6.30 |wc -l
3
0754login:Penguin
2009/09/06(日) 16:03:37ID:mLF5287rbonnie++やIOzoneで1週間負荷をかけ続けるとか、そんな感じ?
0755login:Penguin
2009/09/06(日) 21:27:07ID:Wp8w55Q4そんなものが信頼性になるのかはしらんが
0756login:Penguin
2009/09/06(日) 22:33:16ID:GI5dE/j3安定性の評価は大変だぞ。手法論的に。
0757login:Penguin
2009/09/06(日) 23:12:15ID:3X0QxlvX0758login:Penguin
2009/09/06(日) 23:44:32ID:zCors7qmreiser4、かわいそうだな…。
reiser4に春は来るのだろうか…。
0759login:Penguin
2009/09/06(日) 23:53:03ID:oZEFrl9q0760login:Penguin
2009/09/07(月) 14:27:15ID:irG6WRrNうを、Btrfsの開発大丈夫なの? Oracleはやる気失っちゃった?
0761login:Penguin
2009/09/07(月) 15:53:26ID:MXKkyeqkよくしらんが、本家ページ見ると
0.18が2.6.29で、0.19が2.6.31みたいだから2.6.30では特に変化無かったのかもね。
0762login:Penguin
2009/09/07(月) 16:02:22ID:KqXlaO+kbtrfsprogs0.19で作ったファイルシステムは、2.6.30以前のカーネルでは読めなくなるらしいね。
0763login:Penguin
2009/09/07(月) 16:37:30ID:usSRMi9H0764login:Penguin
2009/09/07(月) 17:11:34ID:iBhE16g80765login:Penguin
2009/09/07(月) 17:16:17ID:x4HLPBqD0766login:Penguin
2009/09/07(月) 18:06:27ID:EXMiBcjf0767login:Penguin
2009/09/07(月) 23:23:30ID:lwFYYS2f>>756
>>759
ありがとう。ファイルシステムの安定性・信頼性に関しては、
これっていうベンチマークとか評価手法をWebで見付けられないんだよなぁ。
各社さんの貴重なノウハウだから、タダで表には出てこないってところかな?
0768login:Penguin
2009/09/08(火) 22:17:56ID:oPYlyRcAなるほど。最後はMILFsに(ry
0769login:Penguin
2009/09/08(火) 23:05:54ID:xzM1y3n7NFSはメジャーだけど、アクセス管理がアレゲなので面倒。
WANからも利用したいから、なるべくセキュアなものがいいんだが。。
0770login:Penguin
2009/09/08(火) 23:13:18ID:KlcQeG0Ppohmelfs
0771login:Penguin
2009/09/09(水) 00:33:19ID:g3D+JiDvありがとう。
さっそく人柱になるよ。
0772login:Penguin
2009/09/09(水) 01:28:06ID:NYs3AwwPSSDをめぐる議論に浮かび上がるベンダ模様
http://www.atmarkit.co.jp/flinux/rensai/watch2009/watch08a.html
TRIMなんてアテにしてなかったけど使い物になるならそれはそれで良きかな
0773login:Penguin
2009/09/09(水) 01:45:35ID:kDa2N0cK単純に選択肢にならないから、どうでもいいけどね>SSD絡み
0774login:Penguin
2009/09/09(水) 02:19:23ID:Q3Oe4C5K> また、所要時間はTRIMの発行数に比例するが、1つのTRIMで消すサイズにはほとんど比例しないそうです。
> 彼によると「rm -rf /usr/src/linux」はTRIMで30分以上(!)もの時間を費やすけれど、
> 50GB+のシングルエクステントは消去するのに数秒しかかからなかったとのこと。
クソワラタ
カーネルソース削除で30分って、TRIM実装すんなって言われて当然だろ
とりあえず実装してしまって、クソハードに「windows専用」のレッテル貼ってしまうのも手だと思うけどな
0775login:Penguin
2009/09/09(水) 04:52:05ID:ol4Nzc2ZOSSなBIOSがあればもっと話は簡単になりそう。
0776login:Penguin
2009/09/09(水) 04:53:04ID:ol4Nzc2ZBIOS→ファームウェア
0777login:Penguin
2009/09/09(水) 05:31:48ID:PAQMReSq安くするためにそうなるのはわからんでもないが…
0778login:Penguin
2009/09/09(水) 18:52:07ID:XVGdMI4vSSDの価格を考えると、
数MBのキャッシュがコスト的に問題になるとは考えにくいが・・・。
0779login:Penguin
2009/09/09(水) 19:07:23ID:9Mpz0HQdフラッシュメモリの特性なんだからしょうがない。
それを上手に隠蔽するためにも、コントローラ側の改善とSSDに適したFSが望まれる。
0780login:Penguin
2009/09/09(水) 19:10:48ID:XVGdMI4v俺も遠隔地とのnfsの代替手段探してるんだ。
期待してるぜ。
0781login:Penguin
2009/09/09(水) 19:54:55ID:g3D+JiDvいまカーネルコンパイル中。
君も人柱となれ!
0782login:Penguin
2009/09/10(木) 00:05:56ID:dK4dgFZWセキュアが好きなら Kerberos と AFS でも使っておけば・・・まあ人柱が好きな人には勧めないが
0783login:Penguin
2009/09/11(金) 23:52:53ID:I4yrGSQ+パフォーマンスはショボイだろうけどセキュアだろう。
0784login:Penguin
2009/09/12(土) 00:01:26ID:iI00hN0zSFTPの仕様上、使えないシステムコールもあるのが残念だった。
たとえばlink(2)を呼び出すと Not Implemeted と言われる。
0785login:Penguin
2009/09/12(土) 00:24:21ID:pOS/oIpq0786login:Penguin
2009/09/12(土) 18:04:04ID:UBFPOEoW現状そうしてます。
速度も結構出てる。
そう言えば、fscached が動かないんですよね・・・。
0787login:Penguin
2009/09/14(月) 03:08:03ID:ueK3wYLxでかいファイルを作成する時間はext3の2倍弱ぐらいかかるけど。
0788login:Penguin
2009/09/14(月) 12:20:29ID:N9qSdTFhGCが実装されてからは、SSDの普及もあいまって、いきなり実用的になっちゃった。
0789login:Penguin
2009/09/14(月) 22:23:25ID:A/G7rJlM安定性や不具合はどうなんだろう?
0790login:Penguin
2009/09/14(月) 23:11:21ID:vbkhczLAサーバ運用はしてないがSSDのノートでNILFS2使ってたらどこかのマッピングが
壊れたのか、ディレクトリが読めなくなったり mount できなくなったりした…
0791login:Penguin
2009/09/15(火) 18:17:39ID:SX8MjkBWバージョンは?
0792login:Penguin
2009/09/16(水) 00:50:33ID:2te4vzEXKernel 2.6.30 で nilfs-utils-2.0.13
mount できなくなってたのは / の inode が壊れてたぽいんだよね。
bogus imode って出てたし
0793login:Penguin
2009/09/16(水) 07:20:35ID:nI44nyROext3 で良いじゃん。
仕事のメイン環境が Linux で、nVidia とか VMware とか、
プロプリエイタリなドライバ入れることもある私としては、
奴らが試験に使っていそうで、一番枯れていそうな ext3 が良いと思っている。
(あくまで推測なのが悲しいけれど、RHEL のデフォルトなんだから試験してるだろ。)
ヒトバシラーになってみたいとかパフォーマンスがうんぬんとか、
そういう方はこちらのスレにお住まいの皆さんと交流してください。
>> スレの皆様
下記のような経緯で見知らぬ奴らが来るかもしれません。遊んでやってください。
http://pc11.2ch.net/test/read.cgi/linux/1251356663/306-352
0794login:Penguin
2009/09/16(水) 10:12:22ID:ZTeRHZXm自治厨房はコチラで引き取りますので・・・
0795login:Penguin
2009/09/16(水) 13:58:10ID:3J121Znd0796login:Penguin
2009/09/16(水) 14:15:36ID:RJIgMBeyttp://userweb.kernel.org/~akpm/mmotm/broken-out/
へ移動しますた。
誰か骨を拾ってあげてくらはい。
0797login:Penguin
2009/09/16(水) 19:39:23ID:UJcLYraYそのうちext4にでも移行するか。
0798login:Penguin
2009/09/16(水) 21:26:31ID:uGxSPocoファイルのfs内移動 → Sequential Create/Random Createのcreate/deleteのうち最低値
ディレクトリリスティング → Sequential/Random Createの Read のうち低い方
5TB3000万ファイルほどで、ディレクトリリスティングと
ファイルの移動が多いので上記のような基準で検討していまして、
いまのところreiser3が最有力なのですが問題ありそうでしょうか?
0799login:Penguin
2009/09/16(水) 22:52:50ID:Tl/wx3w4あとマウント時間が分単位。
0800login:Penguin
2009/09/16(水) 23:27:09ID:V6HHYy1n>>799
スケールしないというのは容量?速度?
容量でしたら8TBに達するのはずいぶん先に見積もっていて(増加ペースが鈍い)、
先にリプレースが来そうなのであまり問題視していません。
速度ですと、約100万ファイルまで増やしながらテストした際に最も
遅くなりづらかったのがreiser3という結果が出たので…。何か変なのかな…。
マウント時間が分単位というのも、自宅用ファイルサーバで
立ち上げっぱなしなので起動時のみの時間ペナルティと判断しています。
いろいろ後出しですみません
0801login:Penguin
2009/09/17(木) 08:41:23ID:lwWWpZYR0802login:Penguin
2009/09/17(木) 09:14:43ID:imVaodyKスケールしないのはコンカレントアクセス。
個人で使うならいいんじゃないの?
■ このスレッドは過去ログ倉庫に格納されています