ファイルシステム総合スレその16

0001login:Penguin

2013/03/15(金) 11:51:55.78ID:O3XCXQaz

●前スレファイルシステム総合スレその15
http://engawa.2ch.net/test/read.cgi/linux/1341012960/l50
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

0491login:Penguin

2013/11/16(土) 19:08:08.57ID:klODC6Fw

緑3TBの20台でVMの共有ストレージに
してるけど、何ら問題ないよー

UPSと箱と電源に拘ってみては？

0492login:Penguin

2013/11/16(土) 21:36:07.83ID:PUTOFxx6

まぁ、緑の真の恐怖は、１台イカれると周り中を道連れにして死ぬ点に有るんだがな

0493login:Penguin

2013/11/16(土) 21:44:26.25ID:4Z3n+n2w

どうやって道連れにすんの？

0494login:Penguin

2013/11/16(土) 22:08:59.61ID:PUTOFxx6

さてなぁ。リビルド時の高負荷で死ぬんだと思うが

0495login:Penguin

2013/11/17(日) 00:25:14.43ID:O40qf6mF

アホじゃねーの

0496login:Penguin

2013/11/17(日) 09:28:09.85ID:CRGzRdxz

和露多

0497login:Penguin

2013/11/17(日) 09:49:24.20ID:a+DN6O1g

まぁ試してみればいいよ
安物NASメーカーのユーザーフォーラムとか読めば、それなりに一般的な現象だと分かると思うけど

0498login:Penguin

2013/11/18(月) 01:02:31.08ID:I9FkgyOR

あー、リビルド時に電圧が揺れて、それで死ぬHDDとかありそうかも

0499login:Penguin

2013/11/18(月) 15:13:11.08ID:9uyno7vf

>498

ナニソレ… 詰んでるじゃん

0500login:Penguin

2013/11/18(月) 22:51:33.49ID:bDDNz1pj

>>498
ダメな電源使ってるとあり得るかもね

0501login:Penguin

2013/11/19(火) 00:15:04.51ID:P8aDRHP+

安物NAS -> ダメ電源 -> リビルド時にHDD大量死

すじが通ってるっていうか、確かにありそう…

0502login:Penguin

2013/11/19(火) 05:14:21.58ID:VUnJga0a

HDD 一括購入で RAID → 同ロット品を同じ条件で酷使 → 大体同じ時期に死亡
ってのは考えにくいんだろか？

0503login:Penguin

2013/11/19(火) 05:20:37.26ID:dN6/7hdo

それはよく聞く話だね信憑性があるかどうか分からんけど
ユーザーフォーラムをみれば～と言ってるけどちゃんとしたデータでもあるの？

0504login:Penguin

2013/11/19(火) 07:49:39.88ID:g05Kpkbk

蛸足状態で、電圧足りないだけだったりして。

0505login:Penguin

2013/11/19(火) 11:58:29.64ID:OcMnYX9e

RAIDがリビルド中に死ぬ主な理由は、patrol readあるいはdata scrubbingを適切に行っていないから。
そのせいでリビルド中にエラーが見つかってmultiple faultで死ぬ。

0506login:Penguin

2013/11/19(火) 13:08:37.83ID:jE8BP7f7

ハードウェアRAIDなら、RAIDカードの設定でauto verifyはonにするのが必須

0507login:Penguin

2013/11/19(火) 13:52:07.70ID:DJml48id

mdでそういう設定みたいのある？

0508login:Penguin

2013/11/19(火) 14:24:08.74ID:nsGqYGMa

>>507
raid-checkとか？
ただSMART値を監視するのと大差はないと思う。

0509login:Penguin

2013/11/20(水) 01:34:46.12ID:cTOAfPI0

>>507
echo check > /sys/block/mdX/md/sync_actionをcronで定期実行

0510login:Penguin

2013/11/20(水) 10:31:45.53ID:JFflcn2G

mdadmに定期同期チェックする機能なかったっけ？

0511login:Penguin

2013/11/20(水) 14:50:25.16ID:rmMhU9tO

でも RAID1, RAID5 だとHDDのセクタエラーみたいな
「エラー出た」とハッキリしているものは修復できるけど
黙って化けられたら，どちらが正解か判断できないよね?

RAID6 なら多数決作戦もいけそうだけど．

結局 ZFS みたいな checksum をどこかに持ってないと
サイレントエラーには勝てないんじゃない?

0512login:Penguin

2013/11/20(水) 19:23:39.66ID:bY8G6Pf2

ZFS の開発がホットだった頃と違って、今の HDD は誤り訂正符号で
データを書き込むから、サイレントエラーはあんまり考えなくても良い気がする。

0513login:Penguin

2013/11/20(水) 20:41:37.29ID:wZCapg96

ZFSって2004年からじゃん。
訂正符号はSNが良くなるのと同じだからね。
製品の目標BERって変わってないと思うよ。故障率も
CRCみたいなチェックコードは別についてる。昔から。
だからHDD以外方が怪しいんじゃ?

0514login:Penguin

2013/11/20(水) 21:11:35.55ID:AVxrr1Rb

ZFSは2001年開発開始だがそれよりずっと前から誤り訂正は使われてる
>>512はドヤ顔でウソを語るクソ野郎

0515login:Penguin

2013/11/20(水) 21:52:13.13ID:BDsQcIvp

WindowsでZFSが使える日が来たら僕は

0516login:Penguin

2013/11/20(水) 22:00:27.05ID:elVQL5xQ

Zenzen tsukaenai File System for Windows

0517login:Penguin

2013/11/20(水) 23:09:27.82ID:rmMhU9tO

>514
そうそう．昔から HDD 自体もエラー訂正はそれなりに
かけているわけだが，実際にたまに化けるわけだ

それこそ電源不良でとかそういう理由もあるんだろう

ZFSで scrub かけてるとほとんどは何もなかった，
だけどたまーに実際に「修復したよ」って言ってくるのは
なにかしら化けていたと言うことなんだと思う．
ZFS使ってなかったらそのエラーに気づくこともなかったんだろう

0518login:Penguin

2013/11/20(水) 23:40:25.51ID:YOXke8Ow

その化けてるのは、ディスクで化けたのでなくて、メモリとかネットワークの上じゃないかな。特にメモリ。

各々のディスクは渡されたデータを正しく保持してるが、渡すところで腐ったので全体では不整合、という状態。

0519login:Penguin

2013/11/20(水) 23:42:43.13ID:jbabelX+

>>512
今も昔もHDDは最初っから、セクタ単位でCRC使ってますが、なにか。
逆に今時の、記録密度が高いプラッタの方が、データが化ける可能性が高いんですが。
AFTだって、ただ容量効率だけを上げようってだけで作られた訳じゃないぞ？
記録密度が上がったおかげで、データが化ける可能性が高くなってしまった。
今までのCRCじゃ強度が足りず、エラーの発見率が落ちる。
それじゃ、エラーの発見率を担保するために、強力なCRC付けりゃ良いかというと、
512byte単位じゃ、CRCデータの方が大きくなって、結果、容量効率が落ちる。

だから、4kセクタにして、それに対して強度の高いCRCを付ける事で、
容量効率とエラーの発見率を担保してるんだが。

0520login:Penguin

2013/11/20(水) 23:59:29.83ID:AVxrr1Rb

>>518
ディスクだってプロセッサやメモリを持ったコンピュータなんだぜｗ

>>519
リードソロモン符号とか昔から使ってるよね

0521login:Penguin

2013/11/21(木) 04:07:53.44ID:yOJ6w+57

>>519
CRCじゃなくてECCじゃない?

0522login:Penguin

2013/11/21(木) 08:23:29.53ID:ikUtsHbn

MFM の構造自体に CRC が含まれている。

0523512

2013/11/21(木) 08:29:38.03ID:JPL18MmS

>>514
それはスマンカッタ。
後学のために教えて欲しいんだが、CRC じゃなくて ECC が ATA や SATA で CRC が
実装されたのって何時ごろ？

0524login:Penguin

2013/11/21(木) 13:28:28.31ID:X7I3irv8

内部的には超大昔から使ってるでしょ?

じゃないと使い物にならないし，
「セクタエラー」とかどうやって判断するのさ

0525login:Penguin

2013/11/21(木) 16:09:33.72ID:RVgPOgAD

んなもんオープンリールの頃から付いてるだろ

0526login:Penguin

2013/11/21(木) 19:19:26.69ID:ubdkFRZ8

CRCと言えばKURE 5-56

0527login:Penguin

2013/11/21(木) 22:04:36.78ID:Pp3BjgOQ

CRCはエラー検出しかできないけどECCはエラー訂正できるんじゃなかったっけ。

0528512

2013/11/21(木) 22:44:10.13ID:JPL18MmS

>>524
日本語変なままレスしちまってた...
古い PATA の HDD も CRC だけじゃなくて ECC も搭載されていたってこと？
セクタエラーは CRC だけで判断だろうけど...
最近では SATA にも ECC が搭載されるようになったからサイレントエラー減ったって考えてるんだが。

0529login:Penguin

2013/11/21(木) 23:08:59.14ID:gcccJwBb

たとえばFireball ATには160bit RSのエラー訂正がついてたわけだが
知ったかぶりには最近付いたものに見えるのか

0530login:Penguin

2013/11/21(木) 23:22:10.93ID:JPL18MmS

>>529
もう少し情報欲しいなぁ。１つだけ持ってこられてもちょっとわからない。
2000年代前半の頃の ATA/SATA で各社 ECC ついてたかどうか。

0531login:Penguin

2013/11/21(木) 23:29:35.43ID:CJP+VmwG

>>527
そう。
ただし、CRC は誤り検出の一つの実装で、ECC は誤り検出訂正自体のことなので、対になる用語ではないよ。

0532login:Penguin

2013/11/21(木) 23:44:48.30ID:gcccJwBb

無い反証を探すことで思い知らされたくない>>530ｗ

0533login:Penguin

2013/11/21(木) 23:50:13.91ID:rpW/HMz8

いつごろから実装されてた？
→Fireball AT の頃にはあっただろ
→一つじゃわからない

余程の馬鹿か、さもなきゃキチガイだろ

0534login:Penguin

2013/11/21(木) 23:50:45.29ID:X7I3irv8

エラー訂正なんて大昔の情報の授業でも
基本知識として出てくるのに
なんで「最近ついた」って思ったんだろ

0535login:Penguin

2013/11/22(金) 00:00:11.73ID:m7CKWeH4

たとえばCDのCIRC(Cross Interleave Reed-Solomon Code)みたいに
民生品でもずいぶんと前から使われてるからなあ

40年前の汎用機のディスクパックでもエラー訂正は使われてたんだし

0536login:Penguin

2013/11/22(金) 00:03:04.40ID:3eAvH0UQ

個人的には誤り検出と誤り訂正は分けて議論したい

0537512

2013/11/22(金) 00:15:11.80ID:jkmGvjzZ

>>532
馬鹿にしてもらって結構。ソースを探したがうまく探すことが出来なかったのでしょうがない。
ようやく先ほど http://engawa.2ch.net/test/read.cgi/linux/1002445806/
(必ずしもよい情報源かどうかは不明だが)を見つけて、ECCbytes の変遷を確認して納得しました。

>>534
なんでってのに回答すると、HDDの「CRC Error」ってのみて、
「ECC 付いてないのかよ」って思ったんだわ。

0538login:Penguin

2013/11/22(金) 00:29:11.04ID:Bzw+jdE2

>>537
再送要求を出せばいいだけ

0539login:Penguin

2013/11/22(金) 01:06:11.08ID:qZZSQ+NA

IDEのHDDはECCナシ、SCSI3のはアリ
というのがIDE時代の俺の認識

0540login:Penguin

2013/11/22(金) 01:33:46.25ID:m7CKWeH4

>>539
なんで次々とバカが涌くのか

当時の身近そうな製品例：
ttp://www.wdc.com/en/products/legacy/Legacy.asp?r=3
Specifications for the WD Caviar AC140
Formatted Capacity: 42 MB
Interface: 40-pin EIDE
ECC: 56-bit

0541login:Penguin

2013/11/22(金) 01:40:32.77ID:qZZSQ+NA

俺の場合は雑誌の記事の受け売り

0542login:Penguin

2013/11/22(金) 04:12:56.06ID:Etze86j4

それは転送時の話じゃないのか

そもそも、ECCを実装するのは歩留まりをあげる方法でもある
実装しないで製品化されていると考えるほうがバカ

0543login:Penguin

2013/11/22(金) 10:50:36.85ID:eg9vJfGj

ECC については知らんが、
CRC についてはそもそも MFM の構造に含まれているのだから、
日本で販売された PC98 用及び PC/AT 互換機用で
CRC が無い物なんか存在しない。

0544login:Penguin

2013/11/22(金) 14:52:14.42ID:m5o7wjgY

1980年代前半の初期のPC用のハードディスクは2バイトのCRCだったりしたけど、
末期には全部ECCだったはずだよ。

>>543
それはたぶんセクタインデックスの話で、確かにCRCなんだけど、
最近のハードディスクはセクタインデックス自体ないからCRCはないよ。

0545login:Penguin

2013/11/22(金) 20:34:08.93ID:eg9vJfGj

>>544
セクタとセクタの間にあるセクタID等を記録した領域。
今ないのか？

まさかそんな日が来るとは。

0546login:Penguin

2013/11/22(金) 23:20:45.15ID:8O+jGNIn

>>545
ごめん。
最近のハードディスクはNo-IDフォーマットだからセクタIDはないって、
なんかの本で読んだんだけど、調べてみたらIBMの特許だった。
http://www.google.com.au/patents/US6185058
少なくともIBMとHGSTはNo-IDフォーマットなんだけど、ほかはわからない。
あと、セクタインデックスじゃなくてセクタIDだったね。

0547login:Penguin

2013/11/22(金) 23:29:17.83ID:eg9vJfGj

そんなのがあるなんて知らなかったよ。
ありがとう。

0548login:Penguin

2013/11/27(水) 09:54:54.55ID:XJNBI7IS

Chris MasonがFusion-ioからFacebookに行くのか。

0549login:Penguin

2013/11/28(木) 08:44:14.35ID:+me7r+Rm

btrfsとflashcacheが統合されてzfsを超える日が遂に来るのか。

0550login:Penguin

2013/11/30(土) 12:21:19.12ID:1jePTrTr

俺の動向も書いてくれな。

0551login:Penguin

2013/12/10(火) 00:47:35.00ID:umD2/MqR

zfsってnativeてcreateしたものをzfs-fuseでインポートできないのか…。
レスキューのときとかに面倒だなぁ

0552login:Penguin

2013/12/10(火) 08:50:12.99ID:UiO2wUHu

ZFSのいいところは沢山ある中から選べることだ（キリ

0553login:Penguin

2013/12/14(土) 00:21:58.05ID:mkgPrxK+

あまったパーツでｚｆｓファイルサーバを組もうかと思ってるんだけど
compress=on、dedup=offの場合は下の構成でいける？

CPU=C2D E7200
電源=570W
メモリ=DDR3 8GB(4GB)
HDD=3GB+4GBの計7GB
マザーは未定

もしくは最近メモリ高いし4GBでもいいかなぁって気もしてるんだけどやめたほうがいい？

0554login:Penguin

2013/12/14(土) 05:11:31.11ID:13r4jixt

それっぽっちの容量でファイルサーバを作る理由は無い。
ルータにUSBメモリでも挿しておけ。

0555login:Penguin

2013/12/14(土) 10:21:19.41ID:711HTBHU

7Gは7Tの間違いと思うけどねぇ

7Gのファイルサーバならraspberry にUSB 2本挿して、RAID0相当あるいは
RAID1相当のシステムは出来そう。

0556login:Penguin

2013/12/14(土) 11:19:43.61ID:1VJbGU/V

ごめん、7TBの間違い

0557login:Penguin

2013/12/14(土) 12:42:58.86ID:Bi/n0fvv

何のデータ扱うか知らんけど
圧縮効くデータをメインに扱うとかじゃないなら意味無いよ

0558login:Penguin

2013/12/14(土) 16:33:11.05ID:6JGj8NiJ

>>553
ZILとL2ARC用にSSD追加するといいよ

>>557
最近のZFSだとL2ARCにも圧縮効く
ttp://wiki.illumos.org/display/illumos/L2ARC+Compression

0559login:Penguin

2013/12/14(土) 17:06:46.45ID:Bi/n0fvv

>>558
扱うデータが圧縮の効かないような物でもL2ARCに効く圧縮は効果あるの？

0560login:Penguin

2013/12/14(土) 23:25:29.67ID:S26vC0dy

lzjbで圧縮率平均1.52だったわ。
ファイルサイズが小さくなるのは期待せずに、シーケンシャルライトがちょっとでも早くなればなあ　というレベルで使ってるわ。

ｽﾍﾟｯｺは
CPU: Intel Core i7 920
ﾒﾓﾘ: DDR3-1333 8x3=24GB
HDD: raidz(3T+3T+3T)+4T

SSDはなし。中身はいろいろ。動画とかすでに圧縮されたデータは容量比2割くらい。

lzjbではこの環境だとCPUが足を引っ張ったりはしないけど、
gzip-9だと話にならないほど遅い。電気食いなのが悩みorz

0561login:Penguin

2013/12/14(土) 23:59:41.38ID:LABPQm5N

今時はlzjbは捨ててlz4使った方が良かった気がする。
lzjbは大して縮まない割に速度はlz4に大きく劣るし、圧縮重視ならgzipでいいし、みたいな。
あとgzip-9は超遅いくせにgzip-6とかより劇的に縮まるわけではないからこっちもあんま意味無かった記憶が。

>>551
version=23でcreateしてもダメなんだっけ？

0562login:Penguin

2013/12/15(日) 16:07:28.78ID:Lkhmahdw

>>561
version=23指定でcreateすると指定なしに比べて何かデメリットとか
使用できない機能ってありますか？

0563login:Penguin

2013/12/15(日) 17:04:35.97ID:H/RDQaMq

ggrks

0564login:Penguin

2013/12/15(日) 22:34:07.96ID:Lkhmahdw

>>561
zfs-fuseでimportする際のエラー文は変わるけど
どっちの場合でもimportはできないっぽい

version=23でcreateした場合は
no such pool available

デフォルトでcreateした場合は
using newer ZFS version

0565login:Penguin

2013/12/16(月) 15:32:06.53ID:IduSrtWi

>>562
デメリットなかったらバージョン変わってるわけないだろ。ちょっとは頭使おうよ・・・

>>564
-O version=4でも付け忘れたんだろ。プールのバージョンだけ下げてファイルシステムのバージョン下げてない。
ちょっとは（ｒｙ

0566login:Penguin

2013/12/19(木) 00:23:25.05ID:SVdiduEQ

>>565
試してみればわかるけど
zpoolをversion=23で作成して、zfsはversion=4で作成してもzfs-fuseではやっぱりimportできない。
no such pool availableでエラーが出る。

0567login:Penguin

2013/12/24(火) 02:40:49.97ID:KXNflFGx

>>545
> セクタとセクタの間にあるセクタID等を記録した領域。
> 今ないのか？
それフロッピーと同じ時代の話しじゃね？
フォーマットの生データで遊べた時代は楽しかったな。ノスタルジーな感

0568login:Penguin

2013/12/24(火) 12:48:43.53ID:9HUwRlac

GAPだね。何かディスクドライブの速度を調整してプロテクト再現とかしてたよね。

0569login:Penguin

2013/12/24(火) 21:19:44.58ID:dM+0N5Zh

GAP3 に自分の名前を入れたりすんだよ。

0570login:Penguin

2013/12/24(火) 21:21:47.57ID:dM+0N5Zh

クリスマスイブの夜に職場のトイレでフロッピーを想いながらしみじみ。

0571login:Penguin

2013/12/25(水) 00:46:58.31ID:YN24kKAh

イヴの夜は、たぶんディスケットと過ごすのね♪

0572login:Penguin

2014/01/20(月) 20:11:27.39ID:TeXh0nWE

クリスマス以降書き込みないとか意地っ張りばっかりだなｗｗｗ

0573login:Penguin

2014/01/20(月) 20:27:16.63ID:HgAmIOA8

Read Diagnostic かぁ何もかもが懐かしい。

0574login:Penguin

2014/01/20(月) 20:34:09.34ID:8cM6sVOK

>>572
あけおめ

0575!omikuji !dama

2014/01/20(月) 20:40:50.92ID:RE1Csrj1

あけましておめでとう2015

0576login:Penguin

2014/01/21(火) 01:43:49.13ID:5RnaFWHw

よいお年を

0577login:Penguin

2014/01/21(火) 11:20:11.00ID:xDMgN8fu

さようならフロッピー、あけましておめでとうSSD

0578login:Penguin

2014/01/25(土) 02:32:46.17ID:3QLJueuJ

JFS (Journaled File System) って評判をあまり見かけないけれど、
スペックをざっと見た感じでは、運用感覚としてext3のタイムスタンプを64ビット化
した様な感じでシンプルなジャーナリングファイルシステムとして
運用出来そうに見えるんだけども、どうでしょうか？

0579login:Penguin

2014/01/26(日) 08:02:42.09ID:pt+YKkX6

開発コミュニティがしぼんでるから避けてる人が多いんじゃない
使ってる人が少ないとそれだけ原因不明のクラッシュに出会う可能性もあがるし

出自は悪くないし、昔試したときは普通に使えたよ
負荷試験とかそういうのはやってないのでコメントできん

0580login:Penguin

2014/01/26(日) 11:19:56.83ID:7hoHi6pO

ZFS関係が結構きてるな

FreeBSD 10.0-RELEASE Release Noteshttp://www.freebsd.org/releases/10.0R/relnotes.html

0581login:Penguin

2014/01/27(月) 01:17:32.99ID:4j0u7jIt

>>578
LinuxでJFS 5年くらい使ってる素人だけど、ファイル削除が遅いなあと思うくらいで特に問題起こらないし普通だよ。
unmountせずに強制終了したりすると、ジャーナル再生してあげないとmountできないのが気になるくらいかなあ。

Linuxで使うならスケジューラdeadlineにするのｵﾇﾇﾒ。

0582login:Penguin

2014/01/27(月) 20:18:40.10ID:o0KCwFlw

JFSを使った感想…
可もなく不可も無かった。電源が突然切れてfsckが走ったがファイルが消される事も無く、そこそこ早く終了した。
ただ、8GB程度のファイルを扱うと(tarなんかで固めた場合)異常にCPUが使われた。それ以外は不満は無かった。

ちなみにSSDで使用しようとして「discard」オプションを付けても『何それ？美味しいの？』と言われます。

0583login:Penguin

2014/01/27(月) 21:07:17.65ID:m80HOl/I

おまえのカーネル古いぞ

http://kernelnewbies.org/Linux_3.7#head-1fd57e16fc824eafd1bab789c5e1281bb5a0ccd5

0584login:Penguin

2014/01/27(月) 21:24:56.01ID:o0KCwFlw

>>583
3.7からTRIMサポートされているのは知っているが、debian & Ubuntu 12.04 LTS使いなんでねぇ。。。
(安定志向で使っているので、無理して最新カーネルは追わない事にしている)

0585login:Penguin

2014/01/27(月) 22:41:43.69ID:hdGXIq3U

安定志向なら FreeBSD 2.1.7 がいい。

0586login:Penguin

2014/01/27(月) 22:44:35.27ID:o0KCwFlw

>>585
でも“FreeBSD 2.1.7”ではZFSが使えないよ～
と、茶レンジャー的な発言をしてみる

0587login:Penguin

2014/01/28(火) 14:19:48.05ID:b29i+Tjz

緑レンジャーのおいらには関係なかった

0588login:Penguin

2014/02/04(火) 13:45:57.32ID:VgvULY/g

discardオプションはSSDのときに効果を発揮するとあるけど
これSSDだけじゃなくてSDでも効果あるよね？

0589login:Penguin

2014/02/04(火) 13:50:54.34ID:oOmonj3C

>>588
SD って、SD カードのこと?

0590login:Penguin

2014/02/04(火) 13:54:53.16ID:VgvULY/g

>>589
そう、SDカード

0591login:Penguin

2014/02/04(火) 14:04:48.11ID:oOmonj3C

どっちもフラッシュメモリだから
その辺は同じじゃね。

ファイルシステム総合スレ その16

ファイルシステム総合スレその16