トップページ⇒linux
1001コメント261KB

ファイルシステム総合スレ その12

■ このスレッドは過去ログ倉庫に格納されています
0001xfs好きなんでなんとかならんかなあ2010/08/08(日) 23:26:04ID:hB0d5896
zfs/btrfsの先行き不透明な昨今、皆様いかがお過ごしでしょうか。
なんか先月末見失ったと思ったらずっと無いっぽいので立ててみました。
しかし需要はあるんだろうか。

●前スレ
ファイルシステム総合スレ その11
http://hibari.2ch.net/test/read.cgi/linux/1256639505/
●関連スレ？
OpenSolaris総合スレッド その4
http://pc12.2ch.net/test/read.cgi/unix/1267016339/

過去スレ、関連リンクは >>2-10 あたりで。
0083login:Penguin2010/08/30(月) 23:53:15ID:aSuq2Hyy
馬鹿はお引き取りください
0084login:Penguin2010/08/31(火) 02:56:28ID:LE75P2XP
>>82
xfs マウントするときに -o nobarrier ってつけてみ。
実運用では理解してつけてね
0085login:Penguin2010/08/31(火) 13:14:03ID:RiveLua3
NTFSは43億まで格納いけるな
0086login:Penguin2010/08/31(火) 16:53:17ID:grH851qT
>>84
>When comparing versus ext3,
>note that ext4 enables write barriers by default, while ext3 does
>not enable write barriers by default.
0087login:Penguin2010/08/31(火) 19:46:54ID:KafEq8Cv
ファイルシステム上に/tmp作るのとtmpfsに作るのと違いってあったりとか？
試しにtmpfsにしてみたら/tmpがあった同一ディスクのI/Oがきつい時のXの体感速度が上がった気がするんだけど

>>84
nobarrierとosyncisdsyncつけたらext4と同じ程度になりますた
ノートなので急な電源断の可能性は低いと思うし大丈夫かなと
thxです
0088login:Penguin2010/08/31(火) 20:55:00ID:J9EZwXk+
tmpfsはメモリ
ノーマル/tmpはディスク

ってことじゃなくて？
0089login:Penguin2010/08/31(火) 21:51:38ID:RCNPjudK
/tmpにあるのってソケットとかじゃないのかな。
0090login:Penguin2010/08/31(火) 22:57:00ID:Bzm572UW
>>89
いいえ？

永続性のない一時ファイルは/tmp


UNIXドメインソケットって/tmpなんかに作ったっけ？
0091login:Penguin2010/08/31(火) 22:57:00ID:biRehsvp
VxFSなら i node free だぜ
0092login:Penguin2010/09/01(水) 00:12:07ID:ApDwNIJ6
/tmp/.X11-unix/X0とかかな？
他にもソケットらしきものがあるっぽいけど
0093login:Penguin2010/09/01(水) 02:25:39ID:Yl1yli02
そんなん運用によってまちまちだし。
screenとかssh-agentみたいなユーザ向けツールはほとんど/tmp以下じゃない？
0094login:Penguin2010/09/02(木) 14:01:08ID:dDmRYah/
>>87
osyncisdsync has no effect, option is deprecated.
0095login:Penguin2010/09/03(金) 00:43:26ID:cU3tTPLf
sambaの解説を読むと、代替データストリームを保存するのには、
普通のファイルシステムでは拡張属性のサイズが小さいようなんですが、
十分なサイズの拡張属性が扱えるファイルシステムは何でしょうか？
0096login:Penguin2010/09/03(金) 02:21:03ID:Oa+kzbmY
十分かどうかは代替データストリームで何をするかによるんじゃないの？
0097login:Penguin2010/09/14(火) 18:46:27ID:NQI/oBYu
ちょっと質問。
だれかBtrFS使っていて問題発生した経験ある?
バックアップストレージ用ファイルシステムには向いているようだが、まだVMレベルでしか確認していないんだよ。
もし何かアドバイスがあれば助かる。
0098login:Penguin2010/09/14(火) 21:16:06ID:Oy6zCGq+
fisk fullになるまでcat /dev/zero > してみようぜ
0099login:Penguin2010/09/16(木) 01:52:31ID:uZmdL0hb
98 名前：login:Penguin 投稿日：2010/09/14(火) 21:16:06 ID:Oy6zCGq+
fisk fullになるまでcat /dev/zero > してみようぜ
0100login:Penguin2010/09/16(木) 02:17:47ID:PAFk2AfQ
fisk fullか。確か東証のシステムってそれが原因で落ちたんだよね。
こわいなぁ
0101login:Penguin2010/09/16(木) 10:28:00ID:jEOVH2L5
>>100
だがfiskがフルになることは無さそうだぞw
冗談抜きでbtrfsで cat /dev/zero > test.binやってみた。Ubuntu 10.10Beta、カーネルは2.6.35。Virtualboxの1GBディスクイメージで。
普通に10%前後空き容量を残してdisk fullで止まった。tune2fsみたいにこの割合を調整したいけどやり方がわからん。
0102login:Penguin2010/09/16(木) 10:35:11ID:9CrIAdx1
それができないのが一番の問題ではなかったかな。
0103login:Penguin2010/09/16(木) 13:43:21ID:9GkIWHQE
btrfs-showするとfullなんだぜ
冗談みたいだろ
0104login:Penguin2010/09/16(木) 20:10:34ID:jEOVH2L5
btrfs領域を限界まで埋めた場合の残り容量について。
■検証用環境
Virtualbox v3.2.8 amd64
Ubuntu 10.10 Beta
カーネル 2.6.35
Btrfs v0.19

■まず検証用btrfs領域について作成したばかりの状態。
$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sdb 1.0G 56K 1.0G 1% /mnt
$ sudo btrfs-show
Label: none uuid: 62a1581f-5a9e-4ee3-869b-89bbed3575c7
Total devices 1 FS bytes used 28.00KB
devid 1 size 1.00GB used 1.00GB path /dev/sdb

■これからbtrfs領域をいっぱいにする。
$ cat /dev/zero > /mnt/test.bin
cat: write error: No space left on device
$ ls -l /mnt
total 915072
-rw-r--r-- 1 jEOVH2L5 jEOVH2L5 937033728 2010-09-16 19:49 test.bin
$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sdb 1.0G 859M 166M 84% /mnt
$ sudo btrfs-show
Label: none uuid: 62a1581f-5a9e-4ee3-869b-89bbed3575c7
Total devices 1 FS bytes used 894.83MB
devid 1 size 1.00GB used 1.00GB path /dev/sdb

btrfs領域の残りの16%もの容量はどこにあるんだろう?
0105login:Penguin2010/09/17(金) 11:19:16ID:xF3nQXIt
天使の取り分、ってやつですよ。
0106login:Penguin2010/09/17(金) 21:44:24ID:D3yYt6Ly
fsckすると解決するさ
0107login:Penguin2010/09/17(金) 22:22:33ID:0viQ7uTy
>>106
btrfsckやってみた。

$ sudo btrfsck /dev/sdb
found 938299392 bytes used err is 0
total csum bytes: 915072
total tree bytes: 1265664
total fs tree bytes: 16384
btree space waste bytes: 258349
file data blocks allocated: 937033728
referenced 937033728
Btrfs Btrfs v0.19

$ sudo btrfs-show
Label: none uuid: 62a1581f-5a9e-4ee3-869b-89bbed3575c7
Total devices 1 FS bytes used 894.83MB
devid 1 size 1.00GB used 1.00GB path /dev/sdb

$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sdb 1.0G 897M 128M 88% /mnt

なんか使用可能領域が166MB→128MBに減ったぞwww
だからといってファイルはこれ以上作れない点は変わらなかったが。
0108login:Penguin2010/09/19(日) 21:25:48ID:tlo/PURv
なんかbtrfsの公式wikiがapacheのテストページになってるから
動きがあるんかと思って来てみたら静かなもんですな。
btrfs そろそろ何か進展ありそう？

oracleはopensourceに協力する気無いって話、本当なんかね。
0109login:Penguin2010/09/19(日) 21:48:45ID:bcQAlrGR
openSolarisぶっ潰したじゃねーかよ
0110login:Penguin2010/09/20(月) 09:27:10ID:aIJnCt0y
ぶっ潰したんじゃない。
あるべき場所へ帰しただけだ。
0111login:Penguin2010/09/20(月) 09:30:22ID:XLm8GKXh
btrfsに期待してる奴なんてまだいるの？ｗ
0112login:Penguin2010/09/20(月) 10:50:03ID:/GhH5uZi
111>期待してるよ
スナップショット使いたいんだ
0113login:Penguin2010/09/20(月) 11:10:44ID:aIJnCt0y
>>112
LVMでええやん
0114login:Penguin2010/09/20(月) 11:11:57ID:/GhH5uZi
>113
外側にかぶり物があるのがイヤです
0115login:Penguin2010/09/20(月) 11:13:56ID:ehY6u/U8
NILFS最強
0116login:Penguin2010/09/20(月) 11:21:08ID:4vSHDS+o
>>115
ファイルシステムの拡張に対応していないからだめ。
0117login:Penguin2010/09/20(月) 13:18:13ID:vlJfXGTU
何もかもVeritasで可能な事じゃねーか
個人用途で無料なVxVMやVxFSはないのかね？
0118login:Penguin2010/09/20(月) 14:46:16ID:4vSHDS+o
>>117
Redhat GFSをローカルのみで利用するとか。
0119login:Penguin2010/09/20(月) 15:44:00ID:rlqfosy+
VxFS最強
0120login:Penguin2010/09/20(月) 19:28:50ID:ZuaIIk+2
Software Designがext2/3にスパースファイルサポートが無いとか書きやがった
ext4で入ったfallocate()をスパースファイルのサポートだと勘違いしたようだ
0121login:Penguin2010/09/20(月) 21:16:39ID:UQdZWQGT
よくあることだ。
0122login:Penguin2010/09/20(月) 22:13:23ID:nbbRP5eK
ext2/3でいまさらそれはねーだろ

よほど使われてなかったのか
0123login:Penguin2010/09/20(月) 22:26:25ID:gtDWEKPl
>>120
まじかよw
0124login:Penguin2010/09/20(月) 23:42:29ID:f1uBB+tS
iSCSIによるファイルシステム共有をちゃんとしたかったらocfs2一択?
btrfsも対応する予定とは聞いたけど、いつになるやら
ext4を対応させる強者はいないだろうな
0125login:Penguin2010/09/21(火) 00:24:27ID:HK0NjBWg
>>120
いまどきのUNIXでスパースファイルが使えないのはhfsplus位のもんだ。
0126login:Penguin2010/09/21(火) 00:27:11ID:PxqvRqwP
NTFSでもあるのに
0127login:Penguin2010/09/21(火) 00:37:47ID:wNsCJfK8
器用貧乏なNTFS
0128login:Penguin2010/09/21(火) 00:48:07ID:GioCudZT
http://www.miraclelinux.com/technet/document/linux/training/1_3_3.html
5. ext3,ReiserFS,XFSの比較
　　　　　　　　　　　　　　　　　ext3 ReiserFS XFS
スパースファイルサポート なし あり あり
0129login:Penguin2010/09/21(火) 13:56:25ID:PtRKG4y5
VxVM/VxFS はstorage foundation basic という名前で無料公開されてるお
0130login:Penguin2010/09/22(水) 01:42:50ID:7nBDh7dt
VxFS最強
0131login:Penguin2010/09/22(水) 01:49:50ID:ACNA3t3D
>>128
いつの文書なんだか

2.0.36のext2にはまだ入っていない様だ
tune2fs: illegal option -- O
とかエェー！
いつ入ったんだろ
0132login:Penguin2010/09/22(水) 02:58:10ID:oQ5/dc4a
>>131
e2fsprogsがsparse_superblockに対応したのは1.16（1999/10/22リリース）以降みたい
カーネルで言えば2.2以降でサポートしたようだね
0133login:Penguin2010/09/22(水) 04:22:40ID:jJ0RZV0i
おい、懐しい話してんな！
0134login:Penguin2010/09/22(水) 13:24:57ID:ACNA3t3D
>>132
それスパースファイルのサポートじゃなくてバックアップスーパーブロックの数を減らすオプション

調べるの面倒になった
2002年の2.4.19では既にスパースファイル使えるとここに書いてやめにする
01351322010/09/22(水) 14:59:26ID:oQ5/dc4a
>>134
>それスパースファイルのサポートじゃなくてバックアップスーパーブロックの数を減らすオプション

ご指摘の通りでした。すまんです
しかし、改めて考えるとext2でのsparse fileサポートってどういうことなんだろ
lseekできてホールを作れりゃそれでいいんじゃないのという気も…
また勘違いしているのかもしれんが、それなら最初からサポートしてんじゃないのか？
と、恥書きついでに聞いてみる

Linuxだけで使うわけじゃないから何の参考にもならんが
GNU fileutilsは1995年12月からcpにsparseオプションを用意していたりする

0136login:Penguin2010/09/22(水) 17:35:26ID:ACNA3t3D
>>135
最初からサポートされてたかもしれない
du -shで確認してたのが仇になった
http://up3.viploader.net/pc/src/vlpc004652.png

なんつー罠だよこれ
01371322010/09/22(水) 21:26:00ID:oQ5/dc4a
>>136
それは気付かんかも

頑張ってSLS 1.02（カーネル0.99）の環境作ってみた
dd使って試したところ、問題なくsparse fileが作成できた
ext2については登場当初からサポートしていると言ってよさそうだね

ぐぐったらminixfsでもサポートしているようだし、UFS系のやつは
大抵問題なく行ける気がする（HFS+以外）
0138login:Penguin2010/09/22(水) 22:08:53ID:O2f5i5EB
逆にどういう経緯でsparse file未サポートなんてのになったんだろう
0139login:Penguin2010/09/23(木) 06:10:50ID:v7Zc4NOt
せめてwikipediaでも見てればそんなことにはならなかったのに
0140login:Penguin2010/09/23(木) 07:40:26ID:X8zkx/UZ
すパースファイルってなに＿？
0141login:Penguin2010/09/23(木) 07:50:46ID:SmJUDs7m
>>140
ビットトレントでのファイルダウンロード中にディスク容量を節約する仕組み。
0142login:Penguin2010/09/23(木) 16:30:49ID:juzGlmAx
SDやミラクルが参考にしたかどうかは分からんが
オーストリア人が公開しているこういう文書があるのを見つけた
http://www.vmars.tuwien.ac.at/courses/akti12/journal/02ws/article_02ws_Menedetter.pdf

説明を見る限り、この文書を書いた人間は
extent対応fsでしかsparseファイルを実現できないと勘違いしているっぽいな
0143login:Penguin2010/09/23(木) 16:39:54ID:X5zclgCZ
しかし実際に確認するってことをしないというのが凄い
0144login:Penguin2010/09/23(木) 16:51:22ID:v7Zc4NOt
>>141
BTに限らずファイルサイズに対して100%の量のデータを書き込まないと意味を持たないケースでその考えはおかしい
それだったらファイルサイズ0の状態から追記していくことと変わらん
0145login:Penguin2010/09/23(木) 16:58:22ID:SmJUDs7m
>>144
いずれ100%使うことを前提とせず、ファイル中に未使用の領域を設ける局面って何？
0146login:Penguin2010/09/23(木) 17:04:13ID:X5zclgCZ
ループバックマウント？
0147login:Penguin2010/09/23(木) 17:04:36ID:v7Zc4NOt
>>145
100%書き込まなくても意味を持つケース
「いずれ」なんて言っていない
0148login:Penguin2010/09/23(木) 17:11:22ID:SmJUDs7m
>>146
なるほど。

>>147
言葉遊びはいいです。
0149login:Penguin2010/09/23(木) 17:13:47ID:v7Zc4NOt
ただのバカだったか
相手して損した
0150login:Penguin2010/09/23(木) 18:19:35ID:l3CrBABI
スペースと、スパースの違いについて。
0151login:Penguin2010/09/23(木) 19:27:15ID:DLFLAZ04
>>145
仮想マシンのディスクイメージとかで最初に全量確保しない場合とか、
同じく仮想マシンのメモリ内容をはき出すファイルとかは
スパースファイルを使ってる例も多いね。
どんくらいメモリを実際使ってるかなんて状況次第だし。
0152login:Penguin2010/09/23(木) 19:36:23ID:SmJUDs7m
>>151
なるほどですね。勉強になりました。

一度書き込まれた領域が不要になったら開放できるように出来れば尚いいですね。
0153login:Penguin2010/09/24(金) 16:18:53ID:nut7+fVY
80GBしか積んでないサーバーを10TBのiSCSIノードに見せかけてとりあえず
稼動スタートさせたおいらが通りますよ・・・
0154login:Penguin2010/09/24(金) 17:19:44ID:VvXCYWHX
>>153
まぁ極端だけどwそんなもんじゃない？
0155login:Penguin2010/09/25(土) 01:08:01ID:k6w82opC
それはスパースじゃなくてプロビジョニング機能・・・
0156login:Penguin2010/09/26(日) 21:10:07ID:GRWXB2zY
スパーッツァ
0157login:Penguin2010/09/28(火) 18:09:18ID:+qobLDjq
”シン”プロビジョニングじゃないか？
0158login:Penguin2010/09/28(火) 21:11:49ID:IfUVwAT9
オラクルに買われてからホントにロクなことがないな。

ttp://blogs.sun.com/bonwick/en_US/entry/and_now_page_2
0159login:Penguin2010/09/28(火) 21:32:53ID:LNRWeGjF
まあそんな物だろう。

めぼしい所は大体抜けた感じか？
0160login:Penguin2010/10/03(日) 02:44:09ID:PUm0Jwiq
>>152
シンプロビジョニング知らないの？
0161login:Penguin2010/10/03(日) 12:31:48ID:Dtyj0XgC
>>160
これってWindowsで言うVirtualAllocでしょ？
スパースとどう繋がるの？
0162login:Penguin2010/10/03(日) 12:35:07ID:Dtyj0XgC
>>161
繋がった。

けど、シンプロビジョニングって行き着く先はファイルシステムの総量の問題で、
ファイルシステムの効率的な使用となると話が変わってくる気がする。
0163login:Penguin2010/10/03(日) 19:51:25ID:1efBjoq6
debian-installerのpartitionerで誤って既存の使用中のXFSパーティションを
XFSで再初期化してしまった、、、。
初期化始まって10秒後ぐらいに気づいて、ctrl+alt+deleteで終了させたんですが
当然xfsパーテイションは消えてました、、、。
これって復旧の可能性ありますかね、、。
今xfs_repair中なんですがphase1で20時間ぐらいかかってまだ終わらないという感じなのですが。
0164login:Penguin2010/10/03(日) 19:52:31ID:7DwDY9+/
WindowsにZFS移植されないかなあああああああああああああああ
あああああああああああああああああああ
ああああああああああああああああ
あああああああああ
あ
0165login:Penguin2010/10/03(日) 19:56:06ID:GBCZm2t/
winfsってどうなったんだろう
0166login:Penguin2010/10/03(日) 20:31:09ID:dio+ic28
>>165
開発中止
0167login:Penguin2010/10/11(月) 16:13:15ID:2BJqUscy
Ext2Fsd
http://sourceforge.net/projects/ext2fsd/

Winでext2/3読み書きできるらしいがこれ使えばwin上からHDDをext3にフォーマットできたりするんだろうか
0168login:Penguin2010/10/11(月) 18:21:43ID:AvpSj35w
View all files押せよ
mke2fsは別に有るから
古いけどな
0169login:Penguin2010/10/12(火) 18:00:59ID:2WFOHVD0
微妙にファイルシステム？な所だけど、最適書込ブロックが4KB>なデバイスでの
Linuxの挙動を調べていてこんなの見つけた。2009年の会話。

- ttp://www.pubbs.net/200904/kernel/16381-implementing-nvmhci.html

> by Linus Torvalds
>> gaining this sort of ability would not be a bad thing.
> .. and if my house was built of gold, that wouldn't be a bad thing either.
> What's your point?
> Are you going to create the magical patches that make that happen?
> Are you going to maintain the added complexity that comes from
> suddenly having multiple dirty bits per "page"?

(；Д))))
Linusコワイヨー

> Are you going to create the mythical filesystems that magically
> start doing tail packing in order to not waste tons of disk-space
> with small files, even if they have a 32kB block-size?

つ reiserfs

・・・とか茶々入れると抹殺されそうな迫力だ。そんだけ。
0170login:Penguin2010/10/12(火) 22:31:40ID:ItNHIJVw
>>169
え？Linusは論理セクタ4KBなディスクに対応する気ないの？
0171login:Penguin2010/10/13(水) 00:51:32ID:ojjvzcXh
メモリ管理が4KiB単位だから区画先頭が4KiB境界に在って区画フォーマットのブロックサイズが4KiBなら問題起きないと思ったが？
0172login:Penguin2010/10/13(水) 01:57:34ID:fJdK3o9s
>>170
いや、4KBは対応するけど、リンク先で出たような8KB/sector, 16KB, ...な
ストレージなぞ知るか！ということ。

フラッシュ陣営も長いこと256KB単位とかでないと性能が…とか言ってたけど
Intel SSDとかがちゃんと4KBでもまともな性能出すようになってきて
恥を晒したな！そんなクソストレージが市場で生き残る訳ネーヨみたいに
アツく語ってます。
0173login:Penguin2010/10/13(水) 12:48:07ID:fJdK3o9s
ext[234]で質問。
いま外部ジャーナルを入れて書き込みを一旦そっちにdata=journalで逃がそうかと
考えてるんですが、ジャーナル領域の大きさをどうするかで迷ってます。

デフォルトの内部ジャーナルは10万ブロックで4KB/inodeなら400MBですが、
これ、ブロック数に比例してSLAB使う可能性があるということで、あまり
大きくするとIOが詰まったときにメモリも一緒に大量占拠されて困りそうです。
ext[23]はmount -o nobhで回避できますが、それができるのはdata=writebackで
使うときだけ。

いま外部ジャーナルやってる人はどれくらいのサイズで確保してます？
あと、上のSLAB大量消費の問題はext4でもあるんでしょうか？
0174login:Penguin2010/10/14(木) 11:14:07ID:lwjkNR9d
なんで2って含めてるんだ…？ orz
0175login:Penguin2010/10/14(木) 20:02:23ID:MyIYHu/a
外部ジャーナルをリアルで使ってる人/団体/企業って居るの？
0176login:Penguin2010/10/14(木) 20:57:14ID:uigJ9rOf
rrdtoolの人は使ってるね。
あの報告見て真面目に検討始めた>俺
0177login:Penguin2010/10/20(水) 09:53:17ID:jqYhRps5
ext234ってなんだよ！？
0178login:Penguin2010/10/20(水) 19:26:28ID:SBSLbKNw
ﾊﾞｶｽ
0179login:Penguin2010/10/21(木) 04:10:01ID:cSS8Od+G
>>177
ﾛｰﾀｽ123みたいなモンでは！？
0180login:Penguin2010/10/25(月) 22:07:33ID:/jv+ghS9
「Linux カーネル 2.6.36 ぐらいに Reiser4 を実装するよ！」

これの顛末ってどうなったんだっけ？　延期？
0181login:Penguin2010/10/25(月) 23:11:28ID:zdOyCd3C
Reiserのいないシャバじゃぁなあ……
0182login:Penguin2010/10/27(水) 00:10:49ID:f7UWwIRs
みんなで妻/夫を殺せばいいんじゃね？
■ このスレッドは過去ログ倉庫に格納されています