983コメント323KB

ファイルシステム総合スレその16

■ このスレッドは過去ログ倉庫に格納されています

0001login:Penguin

2013/03/15(金) 11:51:55.78ID:O3XCXQaz

●前スレファイルシステム総合スレその15
http://engawa.2ch.net/test/read.cgi/linux/1341012960/l50
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

0183login:Penguin

2013/06/08(土) 17:50:27.35ID:LG5keFb4

いつの間にbtrfsにsend/receive付いたんだ

0184login:Penguin

2013/06/08(土) 20:12:26.99ID:RW0IDh1g

結構前からだけど
まともに動いたのはここ一年くらいだったかな

0185login:Penguin

2013/06/08(土) 21:10:42.80ID:q6d5gIhf

Btrfsは非常に安定した安心なファイルシステムです
togetter.com/li/513383
↑カーネル刺さっとる

0186login:Penguin

2013/06/09(日) 05:33:57.74ID:puJ1gdTE

まだまだ危なすぎてつかえねぇなｗ

0187login:Penguin

2013/06/09(日) 10:25:15.39ID:y64wFbzp

なんか1年ぐらい前からずっとプロダクションレベルって言われてる気がする
Fedoraもかなり前から次はデフォルトにするする言ってたし

0188login:Penguin

2013/06/09(日) 13:14:27.00ID:/iqaV19b

一応stableになったZFS on Linuxとどっちが信頼できるんだろうか。

>>187
＞Fedoraもかなり前から次はデフォルトにするする言ってたし
「後藤大地が」が抜けてんぞｗ

0189login:Penguin

2013/06/09(日) 14:55:32.45ID:EfaYT7Jt

>>188
kernelとのインターフェースで、何かやらかしてない限り、
ファイルシステムとしては、ZFSの方がまだマシ・・・な気がする。

まぁ、>>185こんな状況なBtrfsはまだまだじゃないか。

0190login:Penguin

2013/06/10(月) 09:31:11.74ID:NdxU+7T2

>>186
とりあえず最初はお友達（/var/tmp）から・・・と採用してしまった俺ガクブル

0191login:Penguin

2013/06/10(月) 09:34:42.17ID:HwxKwjqG

/dev/nullとして使おう

0192160

2013/06/10(月) 18:34:08.37ID:Ro/19akz

Linuxで利用できる重複排除の対応したファイルシステムをざっと調べてみた。
次のようながプロダクトがある。

lessfs
sdfs
zfs native
zfs fuse
btfs(bedup)

自分が試したのはsdfs、zfs nativeとzfs fuseですが、sdfsはfuse+JAVAの
構成で重すぎ、zfs fuseも安定性イマイチな感じでした。zfs nativeは巨大な
イメージや動画ファイルを扱うと、カーネルパニックになったりするけど、
一般的なファイルの処理なら問題なく使えてます。

現在のところ、重複排除をLinuxで、かつ「無料」で使うという条件の場合、
選択はzfs native一択ですね。

0193login:Penguin

2013/06/10(月) 19:49:10.67ID:HG3bJRSi

カーネルパニックになったらアカンやろｗ

0194login:Penguin

2013/06/10(月) 21:13:37.61ID:dtJHza8E

100GiB の仮想マシンイメージのバックアップに ZFS on Linux 使ってるけど、
カーネルパニックなんか置きたこと無いぞ。

ちなみに、dedup は遅すぎて使えなかった。

0195login:Penguin

2013/06/10(月) 21:14:40.70ID:3JJWt6mH

うちは1.5TB×3
仮想マシンが元気に動いてます

0196login:Penguin

2013/06/11(火) 11:23:57.85ID:7oMeCgGz

うちは、raidz2 で 8x(8+2) です。

NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
tank 218T 155T 63.3T 70% 1.00x ONLINE -

0197login:Penguin

2013/06/14(金) 23:20:42.17ID:NmjsF1JZ

RHEL7がxfsをデフォルトにするとか

0198login:Penguin

2013/06/15(土) 21:25:20.85ID:I/CWj3GZ

マジか!?

0199login:Penguin

2013/06/15(土) 22:35:34.91ID:WqlppNd/

世界最古のジャーナリングFSがいまだに最良ってどういうことなの・・・

0200login:Penguin

2013/06/15(土) 23:39:23.96ID:ippvWota

JFS1「照れるぜ…」

0201login:Penguin

2013/06/15(土) 23:46:05.74ID:WqlppNd/

JFSは俺の中ではなかったことになっている。

0202login:Penguin

2013/06/16(日) 01:03:33.12ID:UKxRG/dk

XFSは小さなファイルが大量にある場合とかきついと思うのだがなぁ。
でかいファイルばっかなら良いFSだと思うけど。

0203login:Penguin

2013/06/16(日) 12:02:21.24ID:zWsW/TRj

なんていうかext系がだらしないからこんな事になる

0204login:Penguin

2013/06/16(日) 12:41:32.19ID:L3rP7syy

そこで互換性を捨てて新たに作ったbtrfsですよ

0205login:Penguin

2013/06/16(日) 13:53:30.73ID:8fxdbBAi

もう全部XFSにしちゃおっかなー
大丈夫だよね？

0206login:Penguin

2013/06/16(日) 16:16:30.74ID:NwWzG4HC

スタックが足りなくなったり
リカバリーにすごいメモリ要求したり
ブートパーティションにできなかったり
は直ったんだっけ

0207login:Penguin

2013/06/16(日) 22:22:10.61ID:GvK6qR7m

スタック足りなくなるのはカーネルパラメータ調整してコンパイルしたらええんちゃうん？
他はしらんけど

0208login:Penguin

2013/06/17(月) 15:22:02.25ID:fs0jbfJZ

>>204
互換性を捨てて新たに作ったゴミじゃないですか

0209login:Penguin

2013/06/17(月) 22:17:27.70ID:fd+APt5G

＞スタックが足りなくなったり
全然だめ
＞リカバリーにすごいメモリ要求したり
あの頃よりは減った
ZFSよりまし
＞ブートパーティションにできなかったり
直す気も直す必要も無い

0210login:Penguin

2013/06/17(月) 22:22:35.02ID:LDDZOqdT

>>206
> ブートパーティションにできなかったり

これってファイルシステムの機能なの？ブートローダーが認識できるかだけじゃないの？

0211login:Penguin

2013/06/17(月) 23:40:51.15ID:bKlZ+Ey0

昔のブートローダはPBR直後からファイルシステム先頭までの空き領域にローダの残りを突っ込むからだっけ。
IRIXはPC/AT由来のそんなお約束シラネーヨなので問答無用でパーティション先頭からXFSが使う。

今はGPTのEFI System領域やGPT/MBR hybrid構成ならBIOS Boot Partitionとかに突っ込む(grub2の場合)から問題ではなくなった。

0212login:Penguin

2013/06/18(火) 00:15:23.54ID:qSp4DK89

>>209
kernel stack周りはkernel 3.4.0で改善したんじゃないの?

0213login:Penguin

2013/06/22(土) 10:35:54.86ID:6vf7Hzj4

>>206
grubをmbrに書き込めば昔から出来るよ

0214login:Penguin

2013/06/23(日) 07:17:40.81ID:jOjTaspb

おまえら的にNTFSってどうなの

0215login:Penguin

2013/06/23(日) 12:59:43.35ID:eGSN7bPa

カーネルじゃないから遅いみたいな

0216login:Penguin

2013/06/23(日) 16:58:27.19ID:L6biPNSF

MSが仕様書公開してくれたらいいのになぁ、という感じ

0217login:Penguin

2013/06/24(月) 07:06:33.16ID:ADoUSOXr

http://www.tuxera.com/wp-content/uploads/2009/10/ntfs_perf_usb.jpg

0218login:Penguin

2013/06/26(水) 10:38:29.07ID:+O9z28nQ

ZFSやってみたいんだけど、ZILがぶっ壊れたらraidzも整合性取れなくなる？
スナップショットまで戻れれば、十分なんだけど。

0219login:Penguin

2013/06/26(水) 11:37:10.43ID:QEi63MKb

ZILは後付けや削除が自由に出来るっぽいので、
壊れても速度以外の影響は少ないと思う。

0220218

2013/06/26(水) 12:25:29.09ID:57n281Vq

ありがとう
ぐぐると出てくる導入事例では、ZILをミラー構成にしてることが多いから、心配になる
SSDを二つ買う余裕はないから、なんとかひとつでそこそこ安全に運用したい

0221login:Penguin

2013/06/26(水) 12:42:33.33ID:QEi63MKb

ZILは高速な書き込みが出来れば良く、信頼性は
さほど重視されていないはずなので、いっそRAMディスクに
しても良いのでは？と思っている。

L2ARCは読み込みが高速で、信頼性も必要なので、
こちらのほうをMirrorのSSDにした方が良いかも。

もっともZILもL2ARCも再起動で初期化されちゃうので、
あまり気にしない方が正解かもしれない。

0222login:Penguin

2013/06/26(水) 12:56:11.32ID:Zp2DfRwL

ZIL RAMディスクとかダメだろw クラッシュしたらどうするんだよw

何したいかにもよるけど、個人(で書き込み回数少ない)ならL2ARC増強した方が体感は上がる。
書き込み速度に不満ないなら単純にメモリ(ECCｵﾇﾇﾒ)をたくさん積めば快適じゃね。

0223login:Penguin

2013/06/26(水) 14:10:37.44ID:kNr34VO+

>>221
なんつーデマ流してんだぼけｗ
分からないなら、分からないと言えよ。

ZILは変更ログだぞ。こいつが消えると、ロールバックも出来なくなるじゃねーか。
クラッシュしたときに最も重要なZILを
RAM DISKにするとか、馬鹿を通り越して、もうZFS使わせない方が良いレベルだわｗ

逆に、L2ARCなんて、壊れたら、ディスクから読めば良いだけなんで、どーだって良いんだよ。
ZILが壊れると、最悪の場合、ファイルシステム吹っ飛ぶぞ。

0224218

2013/06/26(水) 14:25:09.03ID:57n281Vq

>>223
ありがとう
それが知りたかった！
ということは、ZILを単独ディスクで導入するとSPOFになるということだよね？

0225login:Penguin

2013/06/26(水) 14:27:58.41ID:zK78Zvwh

ただ、ZILが使われるのはシステムがクラッシュした場合のみ

0226login:Penguin

2013/06/26(水) 15:48:28.59ID:i6frY42A

ZFSの特性上ZILが壊れてもファイルシステムは壊れないはずだよね？

ZILと同じ内容はメモリ上にもあるからZILを切り離そうとしている間に
クラッシュした場合だけファイルの変更内容が失われる程度のリスクだったような

0227login:Penguin

2013/06/26(水) 17:27:30.63ID:uEinUCmv

Native Linux Kernel Module Is Out For Microsoft exFAT
http://www.phoronix.com/scan.php?page=news_item&;px=MTM5NTQ

0228login:Penguin

2013/06/27(木) 01:16:29.12ID:WMtqs+qO

http://ja.m.wikipedia.org/wiki/ジャーナリングファイルシステム
ZILが消えても、ここでいう整合性は保たれるということだよね。

http://ja.m.wikipedia.org/wiki/Ext4
ext4は遅延アロケーション後fsyncしないでクラッシュした場合に、書き換えがあっても全部消失する状況には対処したほうがいいとなったみたいだけど。

0229login:Penguin

2013/06/27(木) 09:23:54.85ID:Sl1u8KTq

i-ram「俺の出番のようだな。」

ANS-9010「最強のZILデバイスが求められてると聞いて。」

0230login:Penguin

2013/06/27(木) 12:37:40.45ID:FGWWw1pZ

情報錯綜しすぎw
ZFS使ってる人あんまりいないのかな。
便利そうなのに。

0231login:Penguin

2013/06/27(木) 13:02:25.34ID:QXRMhWaU

このスレがLinux板にあるのが皮肉である...

0232login:Penguin

2013/06/27(木) 13:59:24.16ID:qXeOEXto

こっちもあるよ。

ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/

0233login:Penguin

2013/06/27(木) 22:58:23.40ID:re4D9rbc

こちらにも、あることは､ある。

FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50

0234login:Penguin

2013/06/30(日) 18:54:23.99ID:qizAo8YU

ZFS on Linux 0.6.1でZFSプール作成すると、各HDDにZFSパーテションの後ろに
なぜか8MBのパーテション領域(パーテション番号は9)が自動で作成されるんだけど
このパーテションが何のために存在するのか教えてください。

(parted) p
モデル: ATA ST3000DM001-1CH1 (scsi)
ディスク /dev/sda: 3001GB
セクタサイズ (論理/物理): 512B/4096B
パーティションテーブル: gpt

番号　開始　　終了　　サイズ　ファイルシステム　名前　フラグ
.1　　1049kB　3001GB　　3001GB　　　　　　　　　　zfs
.9　　3001GB　3001GB　　8389kB

0235234

2013/07/01(月) NY:AN:NY.ANID:aLIeThm0

すいません、>>234に絡んでもう一つ質問があります。

ZFS on Linux0.6.1で作成したZFSプールはfeature flags(async_destroy,empty_bpobj,lz4_compress)が
有効になっているせいか、FreeBSD9.1でインポートできません。

互換性の為これらのフラグ情報を無効にしたいのですが
プールを作成する際、あるいはプール作成後にこれらのフラグを
無効化するコマンドはありますでしょうか?

0236login:Penguin

2013/07/01(月) NY:AN:NY.ANID:bt3bY4/m

>>235
pool作成時にバージョン指定で作れば良いよ、オプション有ったはず。
作成後はむりぽ。
flagが、activeじゃなければ、リードオンリーでならマンウト出来るかもだけど。
あとは9.1を、9-stableに上げるか。

0237234

2013/07/01(月) NY:AN:NY.ANID:aLIeThm0

>>236
レスありがとうございます。最初は当該フラグを個別に無効指定すればいいかと思ったけどダメでした。
# zpool create -f -o ashift=12 -o feature@async_destroy=disabled -o feature@empty_bpobj=disabled -o feature@lz4_compress=disabled mypool raidz sda sdb sdc sdd
cannot create 'mypool': property 'feature@async_destroy' can only be set to 'enabled'

仰るとおり、バージョン指定でいけました、FreeBSD9.1へのインポートもバッチリです
# zpool create -f -o ashift=12 -o version=28 mypool raidz sda sdb sdc sdd
# zpool get all
NAME PROPERTY VALUE SOURCE
mypool feature@async_destroy disabled local
mypool feature@empty_bpobj disabled local
mypool feature@lz4_compress disabled local

ZFS on Linux 0.6.1もFreeBSD9.1も、version 28と表示されているので、てっきり
feature flagsもversion 28に内包されるオプションだとばかり思ってたのですが、拡張機能のようなものなのですね。

しかしZFSパーテションの後ろの8MBの領域の用途が未だにわからん。
パーテションタイプを表すGUIDを調べてみると"6a945a3b-1dd2-11b2-99a6-080020736631"で
Solaris用の予約済みパーテションのようだけど。

0238login:Penguin

2013/07/01(月) NY:AN:NY.ANID:ytqJl/9E

>>237
プロパティには出てこないけど、feature-flag対応のVerは内部的に5000ってバージョンを振ってる。
後はfeature-flagの対応項目によって、さらに分けてると思う。
feature-flagへの対応が、OSによってまちまちだから。（ライブラリの更新タイミングによって）

そういう意味では、他のOSへpool持ってく事がある場合、Version 28で作っておいて、
アップグレードしないようにする必要がある。
本家と分家すべてのZFSで互換がとれてるのが、28で最後だから。

0239login:Penguin

2013/07/02(火) NY:AN:NY.ANID:Dnd2oDcr

本家互換のバージョンは28が最後で以後は非互換の5000で固定、
以降の機能追加はバージョンではなくfeature flagsで管理される、という感じ。

>>234
ZFS on Linuxはディスク単位でプールに追加しても実際は>>234のようにパーティションが作られて追加されるわけだけど、
1TB+2TBを2TB+2TBに換装みたいなことした際にちゃんとディスク全体を使ってexpandできるように
（パーティション単位の追加と区別するために）作られるマーカーみたいなもん
・・・なんじゃないかと勝手に思ってる。

0240login:Penguin

2013/07/02(火) NY:AN:NY.ANID:iYqJC1u8

>>239
feature flagsでの管理ってのがイマイチ良く分からんのよね、
feature flagsの対応自体に差がある場合の動作が。
試してみろって言われりゃそれまでなんだがｗ

たとえばOI 151p7はlz4未対応だけど、こいつにlz4まで対応したpoolを
移そうとした場合、zl4がdisableされてるpoolなら、インポート出来んのかなーって。
これがエラーになる様だと、結局 28に統一しておく事になっちゃうし。

ま、通常poolの移動なんて、システム一式入れ替えてOS変わるときとか位だから、
大抵、入れ替えたOSの方が新しい物になってて、気にしないって事の方が多いだろうけど。

0241login:Penguin

2013/07/03(水) NY:AN:NY.ANID:9cOaCYiB

誰か3.10のbcache使ってみた？

0242login:Penguin

2013/07/03(水) NY:AN:NY.ANID:7e2PxRAG

誰か3.10のbcache使ってみた？

0243login:Penguin

2013/07/03(水) NY:AN:NY.ANID:tbz0Nz3r

いままでのbcacheと何か大きく違うの？
違わないのならそこそこ安定して使えると思うよ。

0244login:Penguin

2013/07/13(土) NY:AN:NY.ANID:k1w+t6j0

# zpool list
NAME   SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
tank   3.62T  3.25T   380G    89%  1.00x  ONLINE  -
# zfs list
NAME    USED  AVAIL  REFER  MOUNTPOINT
tank      2.36T   234G   581K  /tank

上のALLOCと下のUSEDが一致しないんだけどこの差の1Tはどこにいってしまってるんだろうか

0245login:Penguin

2013/07/13(土) NY:AN:NY.ANID:k1w+t6j0

訂正

# zpool list
NAME SIZE ALLOC FREE CAP DEDUP HEALTH ALTROOT
tank 3.62T 3.25T 380G 89% 1.00x ONLINE -
# zfs list
NAME USED AVAIL REFER MOUNTPOINT
tank 2.36T 234G 581K /tank

0246login:Penguin

2013/07/13(土) NY:AN:NY.ANID:qwmqcXFm

>>245
poolの構成書けよ。

zpool → poolの総使用量
zfs list → パリティ分を除いた、実使用量な。
＋alloc済みで解放されてねー分が入ってんじゃねーの？

0247login:Penguin

2013/07/13(土) NY:AN:NY.ANID:k1w+t6j0

>>246
poolの構成：1TBx4のRAIDZ1　です
ああなるほどパリティの分ですね
1Tx4台のRAIDZだと実際使える量はこんなもんなんですね
4TiB≒3.64TB
3.62TB*(3/4)=2.72TB

0248login:Penguin

2013/07/13(土) NY:AN:NY.ANID:qwmqcXFm

つか、よく見れば、残りの空き10％しかねーじゃん。
ZFSは安定的に使いたければ、使用量80％までで使うこった。

0249login:Penguin

2013/07/13(土) NY:AN:NY.ANID:k1w+t6j0

>>248
まじっすか？
じゃあそれを守るとしたら総量がでかくなればなるほど無駄な領域が増えてくのか

0250login:Penguin

2013/07/13(土) NY:AN:NY.ANID:JiuHShFV

例えば代替セクタのように考えて、無駄と感じないようにすればいいのではなかろうか

0251login:Penguin

2013/07/13(土) NY:AN:NY.ANID:aIY4IVNO

>>249
機能的にスナップショットやデータの配置換えを裏で実行するタイプのディスク装置やファイルシステムの場合、
作業領域が必要な場合が多いよ。

ディスクは 1000Byte = 1KB 表示で OS 表示の場合と違う分目減りする、RAID のパリティで目減りする、
ファイルシステムフォーマットで目減りする、スナップショット等の作業領域で目減りするなど、
減る部分が多いので、ディスク装置の販売・購入する場合には、(特に予算を握っている人たちに)
事前に説明しておかないとトラブるので注意が必要です。

0252login:Penguin

2013/07/13(土) NY:AN:NY.ANID:k1w+t6j0

>>250
無駄は言い過ぎたかな
>>251
なるほど
ちょっと考え直した方が良さそうですね

0253login:Penguin

2013/07/13(土) NY:AN:NY.ANID:gnPSqE0L

PCIにSSDを接続するキットを買って来た。
http://www.amazon.co.jp/gp/product/B0061XI1B0/ref=oh_details_o02_s00_i00?ie=UTF8&;psc=1

タワー型PCに装着したら、LinuxからはSSDは/dev/sdaに見えていて、
by-id では ata-INTEL_SSDSC2CT120A3_CVMP235605ZZ120BGN となっている。

ZFSを始めたころはCentOS6のデバイス命名法に慣れていなかったので、/dev/sdaとか
平気でzpoolの引数に使っていたが、USBやPCIにデバイスを挿す度に、デバイス名が変わるので、
最近はby-id とか by-uuidを使うようになってきた。であるので、ata-INTEL_SSDSC2CT120A..
と長くなっても別にいいのだが、入力は誠に面倒である。

zpool iostat -vの出力が横に長くなって、画面からはみ出しそうだ。

0254login:Penguin

2013/07/13(土) NY:AN:NY.ANID:qwmqcXFm

>>249
80%までに押さえる必要があるのは、パフォーマンスを考えての事だけどな。
これはSUN/Oracleでも言われていること。
ZFSはCoWのファイルシステムなんで、空き領域が少なくなると、
データコピーの段階でパフォーマンスが落ちる。

ついでに、あまりにも空き領域が少なすぎると、
ファイルの削除もまともに出来なくなるからな。

0255login:Penguin

2013/07/13(土) NY:AN:NY.ANID:Kf4QQxXB

>>254
母数が大きくてもその 80% はかわらない？

0256login:Penguin

2013/07/15(月) NY:AN:NY.ANID:Xmg8nFb0

ZFS nativeでzvolの読み書きが遅いので、調べてみたらvolblocksizeを
初期値の8kから64kにすると速くなった。

https://groups.google.com/a/zfsonlinux.org/forum/#!searchin/zfs-discuss/volblocksize/zfs-discuss/e-EsXN8L-HM/CQxcnPUWKqgJ

ddの書き込みが20MB/sから80MB/sに向上したので、64kをさらに大きくすると
どうかと思っている。

volblocksizeの最適値の情報はありませんか？

0257login:Penguin

2013/07/15(月) NY:AN:NY.ANID:C7Fa5xcv

>>256
シーケンシャルアクセスが多いならブロックサイズ(チャンクサイズ)を大きくしたほうが速いのは RAID 共通でしょ。
最適値はランダムアクセス／シーケンシャルアクセスの利用比率によるから、dd だけで速くなった・遅くなった
を語るのは早計だとおもう。

0258256

2013/07/16(火) NY:AN:NY.ANID:x5Sp/9vT

ZvolにはKVMのイメージが載っていて、それらの実行が遅いので、
いろいろ試行錯誤しているわけです。

とりあえず、128kにして様子見してます。

0259login:Penguin

2013/07/16(火) NY:AN:NY.ANID:MKzBlrm1

バカは帰れ

0260login:Penguin