ファイルシステム総合スレ その16
レス数が900を超えています。1000を超えると表示できなくなるよ。
0001login:Penguin
2013/03/15(金) 11:51:55.78ID:O3XCXQazhttp://engawa.2ch.net/test/read.cgi/linux/1341012960/l50
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。
0830login:Penguin
2014/09/18(木) 18:42:04.32ID:bvAwgm1O同一環境のext3との相対評価なんだがスペックそんな関係するのか?
CPUはPentiumクラスでメモリ2GB、HDDは4kIOPSが150ぐらいだったか
>>826
bandwidthは遅いと思ってたけど、metadata操作がここまでとは思ってなかった。
>>829
特殊なオプションなにも指定しないデフォルト状態だから、どっちもoffでした。
0831login:Penguin
2014/09/18(木) 18:57:01.37ID:YwU5zKzpLogとCacheはどうでしょうか?
設定した場合としていない場合ではかなり違います。
HDDのRAID構成で、3〜4本のディスクに同時に読み書き
ができるので、その構成なら単一ディスクよりは速くなります。
zpool status の結果を見せてもらえれば、
またio負荷をかけた状態で、zpool iostat -v プール名 5を
実行して速度を確認して下さい。
0832login:Penguin
2014/09/18(木) 19:27:33.87ID:Uf6n13Z+2GBとかwww
最低8GBは積んどけよwww
0833login:Penguin
2014/09/18(木) 19:29:15.11ID:h2I87dzDZFSはメモリ8GBくらい使うよ
0834login:Penguin
2014/09/18(木) 19:54:33.57ID:bvAwgm1Oext3だったhome disk 1 本の移行だったので、log/cacheも何もなしです。
RAID-Z組めば速くなるとは思いますが、今回はそこまでは。
ちなみにiostatではベンチ中、%utilが70から100%ぐらい。
100%行ってるのはcreateとremoveだったかな。
>>832,833
まじか、ちょっと週末にメモリ買ってくる。
0835login:Penguin
2014/09/18(木) 20:16:13.97ID:O2RGNwJL0836login:Penguin
2014/09/18(木) 21:34:17.21ID:YwU5zKzpiostatじゃなくてzpool iostat -v プール名 5
プール名がstorageなら、
zpool iostat -v storage 5
5秒毎にI/Oの速度を表示してくれる。ディスク複数本積んだら
ちょっと感動する。複数本+log/cacheに分散して
読み書きする様子が見えるよ。
0837login:Penguin
2014/09/19(金) 06:51:26.92ID:FAcnnIkl0838login:Penguin
2014/09/19(金) 12:49:21.52ID:+/oO2Y2E24GB -> 48GBにしただけでも体感変わった。
ついでにSSD余ってたらZILもおすすめ。
0839login:Penguin
2014/09/19(金) 23:34:24.89ID:FEZUTrVuなんでbtrfsの話でOracleが出てくんの?
0840login:Penguin
2014/09/19(金) 23:40:23.92ID:OA62IkRCbtrfsは元々Oracle社が開発したこと、そしてZFSはSunが開発したけど、そのSunはOracleが買収したこと……
くらいかな? Oracleが出てくる理由は。
823じゃないからOracleに言及した本当の理由はわからないけど。
0841login:Penguin
2014/09/21(日) 13:22:12.33ID:wArLUoNKZFSのライセンス問題を解決するにはZFSを持ってるOracleがCDDLをGPLなりに変更する必要があって、
Oracleがbtrfsを見捨てない限りそうはならないからでは?
0842login:Penguin
2014/09/21(日) 19:44:16.94ID:iH/ZO+gSメモリは2G積んでいる。
半年が経過したが、問題は生じていない。
上のレスで、8Gは積まないといっているが、
2Gほどしか積んでいなければ、どういう問題が発生するの?
動作が遅くなるとか、重複排除率が低下するとか?
整合性が壊れたりはしないよね。
0843login:Penguin
2014/09/21(日) 20:06:16.33ID:DgtTT24Odedupしてたら落ちる。
ファイル大量削除しようとすると落ちる。
0844login:Penguin
2014/09/21(日) 20:58:43.64ID:bjZLfU90再起動で1週間待たされるとかのレベル
0845login:Penguin
2014/09/21(日) 22:41:38.19ID:iH/ZO+gSディスク容量節約のために、重複排除を有効にしている。
合わせて4GBほどのバックアップを定期的にやっているが、
重複排除のおかげでディスクは節約できている。
しかし、今度古いバックアップデータを消そうとしている。
これって「大量削除」に相当するのかな。
落ちるのと、激重になるのとは、雲泥の差。
落ちないでしょ?
「再起動で、一週間待たされるレベル」ってどういうこと?
service zfs-fuse restar のこと?
reboot のこと?
前に、同様の場合で、削除したことがある。
rm /files -rf
たしかに遅かったけど、病的なほどではなかったけどな。
いったい、どういう場合のことを言っているんだろう。
0846login:Penguin
2014/09/21(日) 23:07:11.58ID:bjZLfU90こんな感じ
0847login:Penguin
2014/09/21(日) 23:28:24.02ID:fPLC7RJF1)zfs destroy するとき
2)(1)が終わる前に再起動すると、zpool importするとき
async-destroyが有効になってれば大丈夫そうだけど・・・。
pool version が28だと・・・・。
0848login:Penguin
2014/09/22(月) 00:01:31.01ID:b8ji7GQO適当に100kBくらいのファイルを4TB分作ってzfs destroyすればよくわかる。
落ちるというのは挙動が様々で、KPすることもあるし、コンソールの応答がなくなってNum Lock切り替えすらできなくなることもある。
まあ、fuseだからKPすることはないだろうけど。
0849login:Penguin
2014/09/22(月) 06:30:44.39ID:jZWtzL9dこれ面白いね。
ディスクのリプレースがオンラインで出来ますが、
データディスクが1台しかないファイルサーバでも、
作業用のUSBディスクにリプレースでデータを
移して、その後ディスクを交換すれば、動くってこと?
0850login:Penguin
2014/09/22(月) 08:48:04.97ID:ED4do6Nhbtrfsは(コミッターはいるが)Oracleにもはや関係ないのにOracle色がついているのは
不幸なことだな
0851login:Penguin
2014/09/22(月) 11:58:01.53ID:hlxeTjJo>fuseだからKPすることはない
KPって?ZFSの用語?一般語ではないみたい。
はじめて聞いた。
>4TB分作ってzfs destroyすればよくわかる
ZFS ファイルシステムを破棄するだけなのに、なぜに時間がかかるんだろう。
ディスク領域を0で上書きしているとか?
>数十GBくらいなら全然大丈夫
ありがとうございます。
0852login:Penguin
2014/09/22(月) 12:01:43.33ID:hlxeTjJo>zpool importするとき
ZPOOL自体を操作して、移動するなんて高度な技はまだまだ使ったことありません。
とりあえず、プールを用意して、ZFSファイルシステムを構築する程度の初心者です。
参考になりました。ありがとうございます。
0853login:Penguin
2014/09/22(月) 12:03:33.51ID:hlxeTjJoわかりました。
カーネルパニックですね。技術がないので、絶対に遭遇したくありません。。。
0854login:Penguin
2014/09/22(月) 12:19:22.21ID:dsI1Edrphttp://peta.okechan.net/blog/archives/1789
0855login:Penguin
2014/09/22(月) 12:20:49.94ID:hlxeTjJoとても参考になりそうです。
どうもありがとう!
0856login:Penguin
2014/09/22(月) 12:33:23.25ID:hlxeTjJo読んでいて、不安になってきた。
電源断なんてあるだろうし、それで、zfsファイルシステムに不整合が生じて、
自動的に修復されない面倒くさいことにもなる可能性がありそうだな。
zfsやめて、ext4を素直に使っていたほうが良いかなと思ってしまった。
0857login:Penguin
2014/09/22(月) 12:43:57.95ID:hlxeTjJo上のレスで、fuseなら、カーネルパニックはおきないといわれていますが、
zfs-fuseの方がとりあえずシステムの起動ができなくなることはないので安全だと考えてよいんでしょうか。
ext4並に安全な重複排除機能付きのファイルシステムって、何がありますか。
それは、まだCentOSなどでは利用できないんですか。
zfsに不安を覚えてしまった。以前、raidで不整合が生じて大変な目にあったので、もうそんなことはいやだと。
0858login:Penguin
2014/09/22(月) 13:33:10.43ID:hlxeTjJoしかし、ここの資料見ると、現在の最強のファイルシステムだと思えるんだがなあ
0859login:Penguin
2014/09/22(月) 16:50:56.65ID:wAm9sJIB0860login:Penguin
2014/09/22(月) 21:51:24.26ID:WNm91eI/zfsもうっかり追加してしまったpoolを減らすことができるようになればなぁ。と思う。
使うことのできないreservedなdead-spaceという印をつけて、取り外しても大丈夫なようにでもしてくれたらなぁ。
0861login:Penguin
2014/09/22(月) 23:22:17.33ID:dsI1Edrpなんでもzpool addで追加させるのやめてほしい
0862login:Penguin
2014/09/23(火) 08:09:51.75ID:2g2KKYPQ0863login:Penguin
2014/09/23(火) 09:35:32.72ID:iffUHTee0864login:Penguin
2014/09/23(火) 09:56:52.45ID:7lJsjz3TそりゃSolarisだからだよ。
FreeBSDのZFSやZFS on Linux、zfs-fuseは古いOpenSolarisから取ったコードがベースで本家がメンテしてるわけじゃないから、
まったくもって別物で本家に比べると機能/安全性/スループット共に劣化したものと考えるべき。
まあ、2年近くZFS on Linux使ってるけど、特に不具合はないよ。
SATAケーブルが腐った時も復旧できた。
0865login:Penguin
2014/09/23(火) 12:33:32.80ID:2g2KKYPQ雨漏りでもしてたの?
0866login:Penguin
2014/09/23(火) 19:58:32.85ID:lrbMvJ9t長く使ってたケーブルが熱か振動かなんかでダメになったみたいで、カーネルからDMAエラーが大量に出てzpoolから見えなくなってデグレードした。
でも、電源落としてケーブル変えて再マウントすれば元通り。特にエラーもなかった。
0868login:Penguin
2014/09/24(水) 09:29:30.61ID:/c+CkE6Zスレチだけど何故かSATAケーブルだけその手のネタを他より多く聞くんだよね。
決まってケーブルだけが逝ったって。
一体何が原因なんだろう…
0869login:Penguin
2014/09/24(水) 09:41:09.54ID:1MIwuTdj0870login:Penguin
2014/09/24(水) 11:18:20.01ID:CSDMltPh民生品だからそれなりに問題が出てるってことなんじゃ?
0871login:Penguin
2014/09/24(水) 11:21:49.97ID:a7PjhYC40872login:Penguin
2014/09/24(水) 11:23:35.48ID:TG14crRJ書いとかないとうるさい人が...
0873login:Penguin
2014/09/24(水) 23:04:40.23ID:roIH+Gdkそもそも欠陥品レベルだと思っている人は割といる
0874login:Penguin
2014/09/25(木) 21:48:13.01ID:Sc8NGmZNなのかね。
あれは車載用のコネクタだったけど。
0875login:Penguin
2014/09/25(木) 22:50:21.50ID:oFBVQjC90876login:Penguin
2014/09/26(金) 09:28:40.32ID:wXqS4HLRいやまて、結露するような環境じゃないはず…
あ、おまえ、コネクタ密集地帯で汗滴らすなと
0877login:Penguin
2014/09/26(金) 13:25:55.59ID:D1vjrQ3B光ファイバになればかなりマシになるんじゃないだろうか。
0878login:Penguin
2014/09/26(金) 16:36:35.16ID:5h7LgQVm矩形波が流れるとなぜ劣化するの?
急な動きをする電子の影響で、金属結合が壊れるのか?でもまたすぐにつながるはずだけど。
0879login:Penguin
2014/09/26(金) 17:12:06.70ID:gbFynnd8とか?
0880login:Penguin
2014/09/26(金) 20:33:20.30ID:TdNwRye60881login:Penguin
2014/09/27(土) 00:13:25.82ID:X6VqhUpZ0882login:Penguin
2014/09/27(土) 16:11:47.81ID:1g9BstaG0883login:Penguin
2014/09/27(土) 17:33:49.75ID:y7JEHrPHextfsはレガシーシステム
xfsは超高密度集束ファイルサーバー
と住み分けできたな
0884login:Penguin
2014/09/27(土) 18:24:22.02ID:zyCbw+6f獄中で開発させられないのかな
0885login:Penguin
2014/09/27(土) 18:35:22.98ID:U5xk0axN会社と違って時間きっちりの健康的な生活だし
0886login:Penguin
2014/09/27(土) 18:54:54.18ID:wz77HDan0887login:Penguin
2014/09/29(月) 21:59:04.36ID:kTC0pP9Bサンプルを求む!
ネットで見つかるのはkshのスクリプトばかりで、
ZFS on Linuxで使うにはちょっとね。kshはshの
上位互換らしいので、bashでも動くのか?
0888login:Penguin
2014/09/29(月) 22:13:00.50ID:XfVxbDFWkshなんざ使ったことないが似たようなもんだろ
0889login:Penguin
2014/09/29(月) 22:15:27.43ID:IrjClF9zttp://blog.f99aq8ove.net/archive/2009/02/1233759024.html
ttp://toriyu.jp/hitorigoto/id2440.html
スクリプトと言ってもcronでまわしてふるいの消すだけだと思うけど
0890login:Penguin
2014/09/29(月) 22:21:20.60ID:yKrNXHh2ていうかksh入れちゃうのが一番早くね?
むしろNILFS行っちゃえよ
0891864
2014/09/29(月) 22:38:03.34ID:dVp7kObP0892login:Penguin
2014/09/29(月) 23:04:56.60ID:KwYppXUp0893login:Penguin
2014/09/30(火) 08:44:15.60ID:YJFdO6ho©2ch.net[転載禁止]最初のページのSnapshotの作成スクリプトが
参考になりました。VMイメージを入れたVOLUMEの
Renameができないため、ちょっと苦戦していますが、
通常のfilesystemのSnapshotは問題なく、もう少し
テストして、cronに組み込みます。
お教えいただき有難う御座いました。
0894login:Penguin
2014/10/01(水) 01:36:58.39ID:pldISUiJ0895login:Penguin
2014/10/29(水) 14:08:50.47ID:M5RR4oUChttp://sourceforge.jp/magazine/14/10/29/075200
>x86_64、IBM POWER、IBM System zに対応するサーバー版では、デフォルトファイルシステムとしてbtrfsを採用し、
0896login:Penguin
2014/10/29(水) 17:40:36.05ID:OPE4Au6H偉いぞ good jobsだ > dkms
0897login:Penguin
2014/10/29(水) 22:31:58.45ID:GOw4xMBUstableも出てないのにデフォルトにするってマジかよ
0898864
2014/10/29(水) 22:41:14.77ID:/XSPzNfxあと、subvolumeのrename方法提供してほしいorz
0899login:Penguin
2014/10/29(水) 23:00:51.34ID:tGh3yUHT0900login:Penguin
2014/10/31(金) 15:20:31.77ID:ZILEs4PD> あと、subvolumeのrename方法提供してほしいorz
mvしろ
0901login:Penguin
2014/10/31(金) 17:31:45.91ID:Mt4d/iKOzpool scrubを動かしたら、Raidz1 3本の中1本がrepairingと
出てきた。SyslogにはI/Oエラーが記録されているので、
寿命みたい。
Raidz1なので交換すれば治るが、筐体がディスクのHot Swapに対応
していないので、作業がメンドくさい。もうしばらく我慢して使おう。
半年ぐらい前にも壊れて交換したのだが、前回壊れたのもSAMSUNG、
今回もSAMSUNGだ。Hitachiのディスクを見習って、2年は動いて欲しい。
0902login:Penguin
2014/10/31(金) 17:43:50.14ID:DuHoZ1UR好きにしろ
俺だったら即止めて共有も切ってディスク交換後にリビルドするけど
RAIDで泣く奴の半分は運用が悪いと思ってる
0903login:Penguin
2014/10/31(金) 22:08:10.15ID:mOLLZPNOすまん真面目に教えてほしい。
snapshotをrenameするにはmvでいいけど、subvolumeをmvしようとするとmountしてるから当然のごとくエラーになるorz
今はfstabでmountするパスを変えてお茶を濁してる。
0904login:Penguin
2014/11/01(土) 12:26:41.20ID:AG1T4rhiマウントしてるサブボリュームもrenameできるぞ
マウントポイントをrenameできないってことならbtrfsに限った話じゃない
0905901
2014/11/04(火) 15:40:39.22ID:skVyrYWU手元に交換のHDDが無いので、入手したら
交換することにします。
週末調べて判らなかったのだが、ZFSは
BADBLOCKSを登録して管理する機能が無い
のでしょうか?scrubで見つかったBADBLOCKは
読み書きの対象(加えてscrubも)にしない
ようにすれば、良さそうなものですが、BADBLOCKが
見つかったら、「交換してね。」という
説明ばかりでした。
0906login:Penguin
2014/11/04(火) 16:07:03.08ID:BJw3hD6nS.M.A.R.T.のselftestかけてみればよくわかるが、ZFSのbad blockって言うのはHDDに備わってるECC等の訂正符号を使っても訂正できなかったセクタがZFSで使われていたという
ある意味かなりレア(深刻)な状況でしか発生しないんだ。
つまりbad blockを仮にZFSが覚えてそれを避けても、そんな状況のHDDだと表面化しなかった別の駄目なセクタを踏むだけで意味ないし、
そもそもそれらの処理はHDDがやるもの(代替セクタ)だから、ZFS側に実装しても意味ないし。
というか、個人でRAID5なんか使うな。
いくらニアラインSATAでもSASでも数日間のリビルドに耐えられずぶっ壊れる例なんかいくらでもあるし、ましてや今はディスクが大容量になってRAID10のリビルドすらびくびくしてるのに。
0907login:Penguin
2014/11/04(火) 16:37:22.21ID:qDawBwP5ZFSなら普通にできなかったっけ?
0908901
2014/11/05(水) 18:04:02.15ID:UqsM4Dpm交換のディスクが入手できたので、replaceして、
resilveringとなりました。
前回は約半日で終わったので、明日朝には治っている
予定です。
ディスクのリビルドはあまり体験したことが無いので、
コマンドで直すというのはかなり新鮮です。
0909login:Penguin
2014/11/05(水) 20:45:51.84ID:FZ5CuL49そのために、ハードウェアRAIDカードではauto verifyをして
定期的にRAIDの整合性チェック & HDDのサーフェースチェックを
かけることで、リビルド時になってようやく別のHDDの障害発生を
知る (≒RAIDユニット全滅) という最悪の事態をなるべく避けるように
しているしなぁ。
>>908
ちなみに、たとえハードウェアRAIDカード使っていても、
ホットスペア用HDDがない場合はリビルドは基本手動だぞ。
0910login:Penguin
2014/11/05(水) 21:48:11.37ID:oJHwkMVD> ちなみに、たとえハードウェアRAIDカード使っていても、
> ホットスペア用HDDがない場合はリビルドは基本手動だぞ。
流石にちょっとこれは酷いので一言。
サーバやRAID装置によくあるホットスペア(稼働中に物理的に引き抜ける構造)
HDDについているRAIDコントローラは基本自動リビルドです。
ホットスペアHDDがわからない方はググるの画像検索で dell MD1000 で検索して8列目ぐらい
までみれば、引き抜いている途中の写真あります。
0911login:Penguin
2014/11/05(水) 22:16:43.40ID:FZ5CuL49だから、ホットスペアついていない場合のことを言っているんだけど、読み間違えてないか?
0912login:Penguin
2014/11/05(水) 22:17:54.18ID:zNy7nUsgなんでそんな風に思ったのかしらんが、ホットスペアと抜けるかどうかは別の話だろ
あと、ZFS に限らず、ソフトでアレイ組んでてもホットスペアがあればオートでリビルドが普通だろ
0913login:Penguin
2014/11/05(水) 22:29:43.76ID:NnTJ3TAhシステム負荷を考えずにリビルド始めるというのは怖いだけだわ
RAIDの健康状態を常にチェックしてるような人間なら自分のタイミングで環境整備後にリビルトした方が断然いい
0914login:Penguin
2014/11/05(水) 22:35:44.81ID:2Iq/ylJ4活線挿抜って意味じゃないぞ。ホットスタンバイ的な意味だ。
0915login:Penguin
2014/11/05(水) 22:40:02.47ID:FZ5CuL49なるほど。どおりで910がピントハズレなこと言っている理由がわかった。Thanks.
0916login:Penguin
2014/11/05(水) 22:55:39.30ID:bnAyfCiQAndroid 4.2.2 までは、cifs などのカーネルモジュールを追加すればよかっ
たのですが、Android 4.3 (以降?) では、モジュールを読み込んでくれないよ
うで、うまくいきません。
カスタムカーネルではなく、素のカーネルのまま使いたい、と希望しています。
そこで、fuse を利用して cifs mount できれば、と思っているのですが、試
された方はいますか?
当方、Android や fuse の仕様を正確に理解していないので、実際にこのもく
ろみがうまくいくかどうかもわかっていません。
fuse を利用した cifs mount できるプロジェクトも複数あるようで (fusesmb
や smbnetfs)、それらの評価はまだしていません。
わからないことが多いのですが、これに関連することで何かご存知の方や、す
でに実現された方がおられましたら、なにかアドバイスいただけないでしょう
か?
0917910
2014/11/05(水) 23:11:36.98ID:oJHwkMVD○ホットスワップ=稼働中に引き抜ける
×ホットスペア
です。失礼しました。
ServeRAIDやPERCやSmartArrayはオートリビルドですが LSI MegaRAID では手動で
リビルド対象ディスクを指定しないといけません。
>>909 は MegaRAID クラスしか触ったことがないんじゃないか、と思ったんです。
0918login:Penguin
2014/11/05(水) 23:24:22.74ID:NIgi4doQこの場合deiscardオプションは付けなくてもいいの?
0919901
2014/11/06(木) 11:12:54.56ID:czMtYjTQましたが、約7時間で終了しました。
KVMの仮想ディスクイメージをz volume上に置いて運用
しています。ZFSのsnapshotとそれを使ったバックアップが
仮想イメージの管理に非常に便利で、これだけでも
ZFSを使う価値を感じます。
0920login:Penguin
2014/11/07(金) 08:44:50.49ID:BzijoW0Yhttp://news.mynavi.jp/news/2014/11/07/025/
>「openSUSE 13.2」ではデフォルトオプションとしてBtrfsが提供されており、
>このファイルシステムの提供するスナップショット機能を活用したSnapperの採用なども特徴として挙げられている
きたか…!!
( ゚д゚) ガタッ
/ ヾ
__L| / ̄ ̄ ̄/_
\/ /
0921login:Penguin 転載ダメ©2ch.net
2014/11/07(金) 09:45:39.37ID:00/J3AEjそれ機能自体は結構前からあった気がする。
0922login:Penguin
2014/11/07(金) 17:51:41.82ID:bl/DZKjQいや>>920はbtrfsが標準になったことに期待してるんじゃね?
0923login:Penguin
2014/11/08(土) 05:06:18.84ID:qCfxUc2fhttps://btrfs.wiki.kernel.org/index.php/Mount_options
discardつけとくわ
0924login:Penguin
2014/11/08(土) 06:25:30.91ID:kXkXY82P0925login:Penguin 転載ダメ©2ch.net
2014/11/11(火) 18:53:47.07ID:XHulZQnM個人的にはhyper-vとかでmicrosoftが結構貢献してたみたいだから、ついでにntfsの
ほうにも貢献してくれないかなと思ったり。
0926login:Penguin
2014/11/11(火) 19:07:41.49ID:F6RCylGB0927login:Penguin
2014/11/11(火) 19:38:58.04ID:a/AnQsu60928login:Penguin
2014/11/11(火) 22:31:35.11ID:5vSqj3YZgpl汚染されるか
0929login:Penguin
2014/11/12(水) 08:23:08.90ID:RO4VNYMaレス数が900を超えています。1000を超えると表示できなくなるよ。