ファイルシステム総合スレその16

0001login:Penguin

2013/03/15(金) 11:51:55.78ID:O3XCXQaz

●前スレファイルシステム総合スレその15
http://engawa.2ch.net/test/read.cgi/linux/1341012960/l50
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。

0455login:Penguin

2013/10/25(金) 10:55:55.11ID:ugDlUU2T

>450
> HDDでビット化けってあんまり聞かない気がするけど

だって貴方は化けてても気づかないでしょ?

0456login:Penguin

2013/10/25(金) 11:16:18.46ID:9rFB6ubH

>>455
心のビットなら分かるさ。Trueだろ？

0457login:Penguin

2013/10/25(金) 12:25:31.20ID:0FwEouQp

False!

0458login:Penguin

2013/10/25(金) 19:34:58.72ID:JffNeFET

Null

0459login:Penguin

2013/10/25(金) 20:14:24.86ID:c/l0CUx/

>>454
①具体的に言うと下のような構成になっていて
backupやwin、macの下にはファイルがない状態です。

zpool/bakup/win/sys
zpool/bakup/win/data
zpool/bakup/mac/sys
zpool/bakup/mac/data
zpool/doc/～～～
zpool/share/～～～

特にファイルシステムであっても問題ないですがzfs listしたときに邪魔なのでもし方法があればと思っていました。
こういう場合みなさん特に気にせずファイルシステムを作ってるんでしょうか。
それとも下みたいな感じで最低限のファイルシステムを作ってマウントポイントを変更してるんでしょうか。
zfs set mountpoint=/zpool/bakup/win/sys zpool/win_sys
zfs set mountpoint=/zpool/bakup/win/data zpool/win_data
～省略～

将来的にファイルシステムが増え過ぎるのが面倒なのか、
zfsの構成とファイル構成が違ってくるほうが面倒なのか判断に迷うところです。

0460login:Penguin

2013/10/26(土) 14:50:26.40ID:2B//8yQz

組み込みでFRomにjffs2ファイルシステムが乗ってるって話の場合
アプリは普通にファイルを作って書いたり読んだり消したり出来ると
思っていいですか？

0461login:Penguin

2013/11/01(金) 18:02:19.20ID:OHi4c+6U

vxfs最強

0462login:Penguin

2013/11/01(金) 22:35:43.34ID:/Bn0q+0Y

それ全角２５６文字のファイル名つけられるの？

0463login:Penguin

2013/11/01(金) 22:37:29.10ID:A5V09kZl

全角をどんなエンコードで書き込むかによって違ってくる。

0464login:Penguin

2013/11/02(土) 11:32:50.85ID:887lFvrv

皆様の知恵を拝借致します。

# ls -al /var/
drwxr-xr-x. 29 root root 100737024 Nov 2 10:38 log/

/var/log にlsをすると暫くたってからリストが表示されるのですがこれをシンプルに
縮退させる方法はありますでしょうか？

FSシステムはext3。肥大の原因となったファイル群は整理済みです。

0465login:Penguin

2013/11/02(土) 12:06:22.83ID:ghHlEbPC

こいつはてーへんだ！

0466login:Penguin

2013/11/02(土) 13:05:17.69ID:T2Oqcsfn

縮退の意味が分からん
var/logの中のファイルを削除して整理したいのか
lsの表示を早くしたいだけなのか
前者ならlogrotateとか使えと思うし後者ならls -fで頑張れとしか

0467login:Penguin

2013/11/02(土) 13:23:20.43ID:2VosL/Ps

でかくなったディレクトリを小さくしたいという意味では?
ディレクトリってtruncateできるのかね?

0468login:Penguin

2013/11/02(土) 13:40:42.65ID:d2Ccv1+/

dir_index使ってなきゃe2fsck -Dで縮むが

0469login:Penguin

2013/11/02(土) 13:46:27.00ID:ojzZMU2F

最悪、
mkdir /a; mv /var/* /a; rmdir /var; mkdir /var; mv /a/* /var; rmdir /a
くらいで縮むと思うけど、副作用があっても知らん

0470login:Penguin

2013/11/02(土) 13:48:24.95ID:ojzZMU2F

あぁ、/var じゃなく /var/log か

0471login:Penguin

2013/11/02(土) 15:59:06.01ID:ghHlEbPC

いつもはディレクトリ作り直しているが /var/log
は CD ブートしないと出来ないよな。

0472login:Penguin

2013/11/02(土) 20:53:36.83ID:KMMmRexE

シングルユーザーで立ち上げてもできなかったっけ？

0473login:Penguin

2013/11/02(土) 22:19:21.19ID:ghHlEbPC

結論
・停止可能
　シングルユーザモードで起動するか別デバイスから起動し
　　e2fsck -D
　　or ディレクトリ再作成
・停止不可
　修正不可

0474login:Penguin

2013/11/03(日) 19:39:59.63ID:EIQFhcTZ

/var/logを一時的にtmpfsにしてディレクトリ作り直したら？

0475464

2013/11/04(月) 15:44:24.92ID:tM1Wm+fs

皆様の温かいご意見に感謝申し上げます。
なくなくシングルユーザーモードで再起動して、e2fsck -D /dev/sda5 を実行して見ました。
⇒　縮退せず
ファイルシステムの再作成となりました。UUIDなどみのがしたので、デバイスエントリをマウントするように
変更して再起動したところ万事うまく行ったようです。

ご協力に感謝致します。

0476login:Penguin

2013/11/04(月) 16:52:10.36ID:kzjwQk+Y

dir_index使ってたら縮まないんじゃないか。もっとも使ってたら遅くならないけど。

0477login:Penguin

2013/11/04(月) 18:55:05.59ID:/vrbWrDE

昔から言われちゃいるがなんでやらんのだろな
http://pc8.2ch.net/test/read.cgi/linux/1101495293/759n-
ttp://linux.derkeiler.com/Mailing-Lists/Kernel/2009-05/threads.html#06569

>>476
>>464

0478login:Penguin

2013/11/04(月) 21:15:50.05ID:Mc4mH5/X

こういうの「縮退」って言うもんなん?

0479login:Penguin

2013/11/04(月) 22:05:16.00ID:R2gPhWNm

言わないと思う

0480login:Penguin

2013/11/05(火) 01:08:56.63ID:x5EwXLLD

なんていうの？

0481login:Penguin

2013/11/05(火) 18:22:50.90ID:V9FjLC3k

縮小でいいんじゃね

0482login:Penguin

2013/11/05(火) 23:27:26.01ID:XqLkhYZK

計算機分野での縮退はフェイルソフトの意味で使われてるのが普通じゃね？
だもんで資源割当の最適化を指して使うには不適切じゃないかと

一般的にはshrinkでいいだろうから縮めるとか縮小あたりか
e2fsckの-Dオプションはディレクトリの最適化と称してる

0483login:Penguin

2013/11/06(水) 19:24:45.14ID:rtQrlBIK

「フェイルソフト」って何？

0484login:Penguin

2013/11/06(水) 19:33:01.25ID:hbMRSS5A

障害部分を切り離してシステム全体は軟着陸させること

0485login:Penguin

2013/11/06(水) 19:55:47.73ID:nonnr+x1

>>483
ぐぐればすぐ出てくるよ。

0486login:Penguin

2013/11/06(水) 20:05:40.94ID:s8Xkx+wT

いわゆるガーベージコレクションではないか。

0487login:Penguin

2013/11/15(金) 11:42:42.03ID:9hTtO7jh

zfsってどの程度安定してるっぽい？
Linux系じゃなくてUnix系使った方が良いのかな？
突然データ吹っ飛んだりしない？

データ保管庫としてどの程度使えるのか聞きたい。

0488login:Penguin

2013/11/15(金) 12:07:52.44ID:VKakjuP/

>>487
重複排除しなければ安定してる

0489login:Penguin

2013/11/16(土) 13:32:35.81ID:cecGacoq

だれかbtrfs常用してる?

0490login:Penguin

2013/11/16(土) 13:33:41.66ID:sra3+D4d

してるよ

0491login:Penguin

2013/11/16(土) 19:08:08.57ID:klODC6Fw

緑3TBの20台でVMの共有ストレージに
してるけど、何ら問題ないよー

UPSと箱と電源に拘ってみては？

0492login:Penguin

2013/11/16(土) 21:36:07.83ID:PUTOFxx6

まぁ、緑の真の恐怖は、１台イカれると周り中を道連れにして死ぬ点に有るんだがな

0493login:Penguin

2013/11/16(土) 21:44:26.25ID:4Z3n+n2w

どうやって道連れにすんの？

0494login:Penguin

2013/11/16(土) 22:08:59.61ID:PUTOFxx6

さてなぁ。リビルド時の高負荷で死ぬんだと思うが

0495login:Penguin

2013/11/17(日) 00:25:14.43ID:O40qf6mF

アホじゃねーの

0496login:Penguin

2013/11/17(日) 09:28:09.85ID:CRGzRdxz

和露多

0497login:Penguin

2013/11/17(日) 09:49:24.20ID:a+DN6O1g

まぁ試してみればいいよ
安物NASメーカーのユーザーフォーラムとか読めば、それなりに一般的な現象だと分かると思うけど

0498login:Penguin

2013/11/18(月) 01:02:31.08ID:I9FkgyOR

あー、リビルド時に電圧が揺れて、それで死ぬHDDとかありそうかも

0499login:Penguin

2013/11/18(月) 15:13:11.08ID:9uyno7vf

>498

ナニソレ… 詰んでるじゃん

0500login:Penguin

2013/11/18(月) 22:51:33.49ID:bDDNz1pj

>>498
ダメな電源使ってるとあり得るかもね

0501login:Penguin

2013/11/19(火) 00:15:04.51ID:P8aDRHP+

安物NAS -> ダメ電源 -> リビルド時にHDD大量死

すじが通ってるっていうか、確かにありそう…

0502login:Penguin

2013/11/19(火) 05:14:21.58ID:VUnJga0a

HDD 一括購入で RAID → 同ロット品を同じ条件で酷使 → 大体同じ時期に死亡
ってのは考えにくいんだろか？

0503login:Penguin

2013/11/19(火) 05:20:37.26ID:dN6/7hdo

それはよく聞く話だね信憑性があるかどうか分からんけど
ユーザーフォーラムをみれば～と言ってるけどちゃんとしたデータでもあるの？

0504login:Penguin

2013/11/19(火) 07:49:39.88ID:g05Kpkbk

蛸足状態で、電圧足りないだけだったりして。

0505login:Penguin

2013/11/19(火) 11:58:29.64ID:OcMnYX9e

RAIDがリビルド中に死ぬ主な理由は、patrol readあるいはdata scrubbingを適切に行っていないから。
そのせいでリビルド中にエラーが見つかってmultiple faultで死ぬ。

0506login:Penguin

2013/11/19(火) 13:08:37.83ID:jE8BP7f7

ハードウェアRAIDなら、RAIDカードの設定でauto verifyはonにするのが必須

0507login:Penguin

2013/11/19(火) 13:52:07.70ID:DJml48id

mdでそういう設定みたいのある？

0508login:Penguin

2013/11/19(火) 14:24:08.74ID:nsGqYGMa

>>507
raid-checkとか？
ただSMART値を監視するのと大差はないと思う。

0509login:Penguin

2013/11/20(水) 01:34:46.12ID:cTOAfPI0

>>507
echo check > /sys/block/mdX/md/sync_actionをcronで定期実行

0510login:Penguin

2013/11/20(水) 10:31:45.53ID:JFflcn2G

mdadmに定期同期チェックする機能なかったっけ？

0511login:Penguin

2013/11/20(水) 14:50:25.16ID:rmMhU9tO

でも RAID1, RAID5 だとHDDのセクタエラーみたいな
「エラー出た」とハッキリしているものは修復できるけど
黙って化けられたら，どちらが正解か判断できないよね?

RAID6 なら多数決作戦もいけそうだけど．

結局 ZFS みたいな checksum をどこかに持ってないと
サイレントエラーには勝てないんじゃない?

0512login:Penguin

2013/11/20(水) 19:23:39.66ID:bY8G6Pf2

ZFS の開発がホットだった頃と違って、今の HDD は誤り訂正符号で
データを書き込むから、サイレントエラーはあんまり考えなくても良い気がする。

0513login:Penguin

2013/11/20(水) 20:41:37.29ID:wZCapg96

ZFSって2004年からじゃん。
訂正符号はSNが良くなるのと同じだからね。
製品の目標BERって変わってないと思うよ。故障率も
CRCみたいなチェックコードは別についてる。昔から。
だからHDD以外方が怪しいんじゃ?

0514login:Penguin

2013/11/20(水) 21:11:35.55ID:AVxrr1Rb

ZFSは2001年開発開始だがそれよりずっと前から誤り訂正は使われてる
>>512はドヤ顔でウソを語るクソ野郎

0515login:Penguin

2013/11/20(水) 21:52:13.13ID:BDsQcIvp

WindowsでZFSが使える日が来たら僕は

0516login:Penguin

2013/11/20(水) 22:00:27.05ID:elVQL5xQ

Zenzen tsukaenai File System for Windows

0517login:Penguin

2013/11/20(水) 23:09:27.82ID:rmMhU9tO

>514
そうそう．昔から HDD 自体もエラー訂正はそれなりに
かけているわけだが，実際にたまに化けるわけだ

それこそ電源不良でとかそういう理由もあるんだろう

ZFSで scrub かけてるとほとんどは何もなかった，
だけどたまーに実際に「修復したよ」って言ってくるのは
なにかしら化けていたと言うことなんだと思う．
ZFS使ってなかったらそのエラーに気づくこともなかったんだろう

0518login:Penguin

2013/11/20(水) 23:40:25.51ID:YOXke8Ow

その化けてるのは、ディスクで化けたのでなくて、メモリとかネットワークの上じゃないかな。特にメモリ。

各々のディスクは渡されたデータを正しく保持してるが、渡すところで腐ったので全体では不整合、という状態。

0519login:Penguin

2013/11/20(水) 23:42:43.13ID:jbabelX+

>>512
今も昔もHDDは最初っから、セクタ単位でCRC使ってますが、なにか。
逆に今時の、記録密度が高いプラッタの方が、データが化ける可能性が高いんですが。
AFTだって、ただ容量効率だけを上げようってだけで作られた訳じゃないぞ？
記録密度が上がったおかげで、データが化ける可能性が高くなってしまった。
今までのCRCじゃ強度が足りず、エラーの発見率が落ちる。
それじゃ、エラーの発見率を担保するために、強力なCRC付けりゃ良いかというと、
512byte単位じゃ、CRCデータの方が大きくなって、結果、容量効率が落ちる。

だから、4kセクタにして、それに対して強度の高いCRCを付ける事で、
容量効率とエラーの発見率を担保してるんだが。

0520login:Penguin

2013/11/20(水) 23:59:29.83ID:AVxrr1Rb

>>518
ディスクだってプロセッサやメモリを持ったコンピュータなんだぜｗ

>>519
リードソロモン符号とか昔から使ってるよね

0521login:Penguin

2013/11/21(木) 04:07:53.44ID:yOJ6w+57

>>519
CRCじゃなくてECCじゃない?

0522login:Penguin

2013/11/21(木) 08:23:29.53ID:ikUtsHbn

MFM の構造自体に CRC が含まれている。

0523512

2013/11/21(木) 08:29:38.03ID:JPL18MmS

>>514
それはスマンカッタ。
後学のために教えて欲しいんだが、CRC じゃなくて ECC が ATA や SATA で CRC が
実装されたのって何時ごろ？

0524login:Penguin

2013/11/21(木) 13:28:28.31ID:X7I3irv8

内部的には超大昔から使ってるでしょ?

じゃないと使い物にならないし，
「セクタエラー」とかどうやって判断するのさ

0525login:Penguin

2013/11/21(木) 16:09:33.72ID:RVgPOgAD

んなもんオープンリールの頃から付いてるだろ

0526login:Penguin

2013/11/21(木) 19:19:26.69ID:ubdkFRZ8

CRCと言えばKURE 5-56

0527login:Penguin

2013/11/21(木) 22:04:36.78ID:Pp3BjgOQ

CRCはエラー検出しかできないけどECCはエラー訂正できるんじゃなかったっけ。

0528512

2013/11/21(木) 22:44:10.13ID:JPL18MmS

>>524
日本語変なままレスしちまってた...
古い PATA の HDD も CRC だけじゃなくて ECC も搭載されていたってこと？
セクタエラーは CRC だけで判断だろうけど...
最近では SATA にも ECC が搭載されるようになったからサイレントエラー減ったって考えてるんだが。

0529login:Penguin

2013/11/21(木) 23:08:59.14ID:gcccJwBb

たとえばFireball ATには160bit RSのエラー訂正がついてたわけだが
知ったかぶりには最近付いたものに見えるのか

0530login:Penguin

2013/11/21(木) 23:22:10.93ID:JPL18MmS

>>529
もう少し情報欲しいなぁ。１つだけ持ってこられてもちょっとわからない。
2000年代前半の頃の ATA/SATA で各社 ECC ついてたかどうか。

0531login:Penguin

2013/11/21(木) 23:29:35.43ID:CJP+VmwG

>>527
そう。
ただし、CRC は誤り検出の一つの実装で、ECC は誤り検出訂正自体のことなので、対になる用語ではないよ。

0532login:Penguin

2013/11/21(木) 23:44:48.30ID:gcccJwBb

無い反証を探すことで思い知らされたくない>>530ｗ

0533login:Penguin

2013/11/21(木) 23:50:13.91ID:rpW/HMz8

いつごろから実装されてた？
→Fireball AT の頃にはあっただろ
→一つじゃわからない

余程の馬鹿か、さもなきゃキチガイだろ

0534login:Penguin

2013/11/21(木) 23:50:45.29ID:X7I3irv8

エラー訂正なんて大昔の情報の授業でも
基本知識として出てくるのに
なんで「最近ついた」って思ったんだろ

0535login:Penguin

2013/11/22(金) 00:00:11.73ID:m7CKWeH4

たとえばCDのCIRC(Cross Interleave Reed-Solomon Code)みたいに
民生品でもずいぶんと前から使われてるからなあ

40年前の汎用機のディスクパックでもエラー訂正は使われてたんだし

0536login:Penguin

2013/11/22(金) 00:03:04.40ID:3eAvH0UQ

個人的には誤り検出と誤り訂正は分けて議論したい

0537512

2013/11/22(金) 00:15:11.80ID:jkmGvjzZ

>>532
馬鹿にしてもらって結構。ソースを探したがうまく探すことが出来なかったのでしょうがない。
ようやく先ほど http://engawa.2ch.net/test/read.cgi/linux/1002445806/
(必ずしもよい情報源かどうかは不明だが)を見つけて、ECCbytes の変遷を確認して納得しました。

>>534
なんでってのに回答すると、HDDの「CRC Error」ってのみて、
「ECC 付いてないのかよ」って思ったんだわ。

0538login:Penguin

2013/11/22(金) 00:29:11.04ID:Bzw+jdE2

>>537
再送要求を出せばいいだけ

0539login:Penguin

2013/11/22(金) 01:06:11.08ID:qZZSQ+NA

IDEのHDDはECCナシ、SCSI3のはアリ
というのがIDE時代の俺の認識

0540login:Penguin

2013/11/22(金) 01:33:46.25ID:m7CKWeH4

>>539
なんで次々とバカが涌くのか

当時の身近そうな製品例：
ttp://www.wdc.com/en/products/legacy/Legacy.asp?r=3
Specifications for the WD Caviar AC140
Formatted Capacity: 42 MB
Interface: 40-pin EIDE
ECC: 56-bit

0541login:Penguin

2013/11/22(金) 01:40:32.77ID:qZZSQ+NA

俺の場合は雑誌の記事の受け売り

0542login:Penguin

2013/11/22(金) 04:12:56.06ID:Etze86j4

それは転送時の話じゃないのか

そもそも、ECCを実装するのは歩留まりをあげる方法でもある
実装しないで製品化されていると考えるほうがバカ

0543login:Penguin

2013/11/22(金) 10:50:36.85ID:eg9vJfGj

ECC については知らんが、
CRC についてはそもそも MFM の構造に含まれているのだから、
日本で販売された PC98 用及び PC/AT 互換機用で
CRC が無い物なんか存在しない。

0544login:Penguin

2013/11/22(金) 14:52:14.42ID:m5o7wjgY

1980年代前半の初期のPC用のハードディスクは2バイトのCRCだったりしたけど、
末期には全部ECCだったはずだよ。

>>543
それはたぶんセクタインデックスの話で、確かにCRCなんだけど、
最近のハードディスクはセクタインデックス自体ないからCRCはないよ。

0545login:Penguin

2013/11/22(金) 20:34:08.93ID:eg9vJfGj

>>544
セクタとセクタの間にあるセクタID等を記録した領域。
今ないのか？

まさかそんな日が来るとは。

0546login:Penguin

2013/11/22(金) 23:20:45.15ID:8O+jGNIn

>>545
ごめん。
最近のハードディスクはNo-IDフォーマットだからセクタIDはないって、
なんかの本で読んだんだけど、調べてみたらIBMの特許だった。
http://www.google.com.au/patents/US6185058
少なくともIBMとHGSTはNo-IDフォーマットなんだけど、ほかはわからない。
あと、セクタインデックスじゃなくてセクタIDだったね。

0547login:Penguin

2013/11/22(金) 23:29:17.83ID:eg9vJfGj

そんなのがあるなんて知らなかったよ。
ありがとう。

0548login:Penguin

2013/11/27(水) 09:54:54.55ID:XJNBI7IS

Chris MasonがFusion-ioからFacebookに行くのか。

0549login:Penguin

2013/11/28(木) 08:44:14.35ID:+me7r+Rm

btrfsとflashcacheが統合されてzfsを超える日が遂に来るのか。

0550login:Penguin

2013/11/30(土) 12:21:19.12ID:1jePTrTr

俺の動向も書いてくれな。

0551login:Penguin

2013/12/10(火) 00:47:35.00ID:umD2/MqR

zfsってnativeてcreateしたものをzfs-fuseでインポートできないのか…。
レスキューのときとかに面倒だなぁ

0552login:Penguin

2013/12/10(火) 08:50:12.99ID:UiO2wUHu

ZFSのいいところは沢山ある中から選べることだ（キリ

0553login:Penguin

2013/12/14(土) 00:21:58.05ID:mkgPrxK+

あまったパーツでｚｆｓファイルサーバを組もうかと思ってるんだけど
compress=on、dedup=offの場合は下の構成でいける？

CPU=C2D E7200
電源=570W
メモリ=DDR3 8GB(4GB)
HDD=3GB+4GBの計7GB
マザーは未定

もしくは最近メモリ高いし4GBでもいいかなぁって気もしてるんだけどやめたほうがいい？

0554login:Penguin

2013/12/14(土) 05:11:31.11ID:13r4jixt

それっぽっちの容量でファイルサーバを作る理由は無い。
ルータにUSBメモリでも挿しておけ。

ファイルシステム総合スレ その16

ファイルシステム総合スレその16