ファイルシステム総合スレ その12
■ このスレッドは過去ログ倉庫に格納されています
0001xfs好きなんでなんとかならんかなあ
2010/08/08(日) 23:26:04ID:hB0d5896なんか先月末見失ったと思ったらずっと無いっぽいので立ててみました。
しかし需要はあるんだろうか。
●前スレ
ファイルシステム総合スレ その11
http://hibari.2ch.net/test/read.cgi/linux/1256639505/
●関連スレ?
OpenSolaris総合スレッド その4
http://pc12.2ch.net/test/read.cgi/unix/1267016339/
過去スレ、関連リンクは >>2-10 あたりで。
0755login:Penguin
2011/06/26(日) 16:45:00.29ID:kNSxDTTsVALinuxがそんな感じのを出してる、ような…
もっと極端だけど、NTTのSheepDogも。
ブロックが脱落した時の再割当や、割り当て先の散らし形がキワそうだけど、
結局発想の大元はそこになるし。
0756login:Penguin
2011/06/26(日) 19:23:35.57ID:yyAEhZ190757login:Penguin
2011/06/26(日) 19:30:38.54ID:l56YSn1Gnon-contiguousが20%超えてるって酷くね?
0758login:Penguin
2011/06/26(日) 19:53:43.24ID:ZQy5nBxFHadoopのHDFSはPOSIX非互換
0759login:Penguin
2011/06/26(日) 23:42:55.98ID:FTOi8J2zrsyncを使って、nilfs2のパーティションをオンラインでバックアップする
スクリプト書いたよ。これで安心してnilfs2を使えるよ。
https://bitbucket.org/dwarfjay/partbackup
0760login:Penguin
2011/06/27(月) 04:33:01.70ID:RUuJMn+uext4は、ファイルを作って一気に書き込む場合には断片かしにくいけど
少しづつ追記したり部分的な更新を繰り返す場合はext3と同程度
これは欠点では無くてファイルシステムの宿命
0761login:Penguin
2011/06/27(月) 18:16:33.12ID:KMfV1nLfファイルシステムなら断片化しないだろ。
宿命でもなんでもない。
0762login:Penguin
2011/06/27(月) 18:17:40.04ID:jEkPErJJlogファイルなんかどうするの
ストリームとか
0763login:Penguin
2011/06/27(月) 18:19:17.40ID:q4P99xCv0764login:Penguin
2011/06/27(月) 21:14:52.88ID:hE1KT+/R>>761
ext4にはfallocateがあるから、
ファイルをopen → fallocate → データを書き込み → ファイルをclose
ってやれば断片化しないんじゃないの?
0765login:Penguin
2011/06/28(火) 03:50:33.77ID:6lZqfXNrファイルAに追記しようとすると断片化は避けられない
そして、そんな状況は頻繁に起こる
特に空き領域が半分を切った場合
>>761
最大サイズが予想できたらファイルシステムは要らない
柔軟にファイルを扱う機能が必要でそれを実現するために
ファイルシステムは生み出された
>>764
領域を事前に確保できるけど
それが断片化してないことは保証されてない
ファイルそのものだけじゃなく空き領域も断片化するから
0766login:Penguin
2011/06/28(火) 10:30:48.94ID:SMQJaBw50767login:Penguin
2011/06/28(火) 11:45:10.94ID:l0tw3aLq0768login:Penguin
2011/06/28(火) 12:42:47.12ID:jv65m89S汎用機(メインフレーム)はそんな感じでファイルの管理行っているよん
OracleやDB2のスキームはその名残
0769login:Penguin
2011/06/28(火) 14:01:29.53ID:83BNRbLoつ ntifs
これベースで作ってる人が世界に数人いるようだね。
いまはIFS自体が無償提供されるようになったんだっけ。
0770login:Penguin
2011/06/30(木) 00:25:49.09ID:7y6X/QxR・Linuxからntfsなパーティションにコピー、Windowsでデフラグ
・LinuxからパーティションA(ntfs)にコピー、WindowsでパーティションAからBにFastCopyやFire File Copyを使ってコピー
とかすればいいんじゃないかな。
0771login:Penguin
2011/06/30(木) 00:29:07.54ID:oE2JwSOO0772login:Penguin
2011/06/30(木) 01:25:49.48ID:LwyMJBx5>>770さんって凄いんですね!!1
>>770さん尊敬します!!!1111
と、書けばいいのか?
0773login:Penguin
2011/06/30(木) 15:32:02.08ID:UiUsc/Rxブロックの中では断片化しないんだから。
(利用効率についてのご質問にはお答えできません)
0774login:Penguin
2011/06/30(木) 21:12:01.74ID:MuoLCt9lでも、動画ファイルはそれで十分だよな
0775login:Penguin
2011/06/30(木) 21:18:32.58ID:7y6X/QxR>>772
せっかくntfsの読み書きが出来るんだから、
そういうのも有りなんじゃないかなと思ったんだよ。
0776login:Penguin
2011/07/01(金) 00:51:28.63ID:GF2T4w1v0777login:Penguin
2011/07/01(金) 09:08:56.71ID:jQ6wtf860778login:Penguin
2011/07/01(金) 11:30:51.54ID:klcsDY6T>>772だが、すまんな。絶賛48時間連続残業で煽ってしまったわ。
Linux向けのNTFSのデフラグツールってないのかな?ありそうだが。
FUSEで書き込みと同時にデフラグとか。クソ遅い上にSSD脂肪しそうなアイディア思いついた。
0779login:Penguin
2011/07/02(土) 03:33:16.92ID:FkAEAKBi書き戻しをするときに、
領域を確保してから書き込むコピーツールで
大きいファイルから順番に書き戻していけば断片化しにくい
ext4のような遅延アロケーションに対応したファイルシステムを使うことが条件
0780login:Penguin
2011/07/02(土) 03:34:51.98ID:c3NWYTl9255バイトじゃなあ……
0781login:Penguin
2011/07/02(土) 08:43:10.36ID:t2CtPZ4Jreiserfs
0782login:Penguin
2011/07/02(土) 11:11:28.82ID:TM63inIe現状だと、1つずつreplaceしてアレイのディスク全て交換…とかしなきゃダメだよね。
0783login:Penguin
2011/07/02(土) 12:13:33.14ID:PIg3QDhWじゃあ何バイトあればいいのよ?
0784login:Penguin
2011/07/02(土) 12:32:53.88ID:BOrjSGZM0785login:Penguin
2011/07/02(土) 16:31:26.99ID:CaWgfUoY0786login:Penguin
2011/07/02(土) 18:50:04.17ID:EXXo7zLc現状で出来ること
* RAID Z 構成する全HDDを大容量のものに交換していく
* RAID Z を構成している pool に対して
別の RAID Z pool を追加して複数pool化しての大容量化
(1台単位での増加はNGで4台とかまとめての増量ね)
気持ちは分かるし俺もそういう機能があったら欲しいけど
RAID Z のデータ配置の意味を考えると
4台構成の RAID Z を 1タマ追加して 5台構成の RAID Z 化するのは
かなり難しいんじゃないかな
0787login:Penguin
2011/07/02(土) 21:28:46.36ID:UuMmvglBLinuxのファイルシステムは断片化しにくいだけで断片化防ぐ手段は無いわけだし。
ext4もSetFilePointer + SetEndOfFileみたいなシステムコールで連続領域を確保できるようになればいいのに。
>>780
ロシア人が言ってなかったっけ?
スルーされたはずだけど。
0788login:Penguin
2011/07/02(土) 21:52:16.74ID:BOrjSGZM0789login:Penguin
2011/07/03(日) 01:04:52.76ID:TIKKs5yDSetFilePointer + SetEndOfFileみたいな使い方は出来んでしょ。
無いよりマシだろうけど。
0790login:Penguin
2011/07/03(日) 01:22:08.34ID:njdRGesqhttp://msdn.microsoft.com/ja-jp/library/cc429788.aspx
これとファイルシステム上の断片化の防止が結びつかないんだけど。
0791login:Penguin
2011/07/03(日) 01:50:07.19ID:mO72NowCe4defrag
filedefrag
さあ、みなさんも魅惑の世界へ
でも、壊れたって報告が開発者のところ行かないと進まないんだよな
0792login:Penguin
2011/07/03(日) 04:41:35.20ID:BNZGSTX4drobo だとこういう事できるので、LinuxのソフトウエアRAIDかRAID-Zでも是非やって欲しい
0793login:Penguin
2011/07/03(日) 09:25:01.58ID:el91dD6Zクラスタ割り当てを良きに計らってくれるってだけだけども新規ファイル作成時とかには断片化防止にとても効いてくれるよ
http://support.microsoft.com/kb/841551/en
0794login:Penguin
2011/07/03(日) 09:44:26.70ID:1XCpK0ARオンラインで動くし特に壊れない
0795login:Penguin
2011/07/03(日) 22:59:22.52ID:r6wy1+d80796login:Penguin
2011/07/03(日) 23:20:50.36ID:TIKKs5yD> さあ、みなさんも魅惑の世界へ
(((( ;゚Д゚)))
>>794
xfsはkosakiさんの中の人がdisってたけど、
まだまだ現役だよね。
>>795
um
0797login:Penguin
2011/07/03(日) 23:30:07.57ID:MiI7LbCeまあxfsは動画データ等の大きなファイルの管理に重点がおかれているから、
同時アクセス数が重要なウェブサービスみたいなFSには向いていない事でディすられたのでは?
0798login:Penguin
2011/07/04(月) 05:21:01.68ID:I/2TIZaSmdraidはOCEもORLMもできるだろ?
0799login:Penguin
2011/07/04(月) 10:29:02.46ID:nKcW7jiCBeyond RAID の魅力は、異なる容量のHDDをうまく束ねてくれるところ。
0800login:Penguin
2011/07/04(月) 10:36:57.43ID:y25QxMN50801login:Penguin
2011/07/04(月) 16:12:58.02ID:TsEcE6UI0802login:Penguin
2011/07/04(月) 17:38:39.45ID:nKcW7jiCmhddfs で1つのデータを複数書き込んで冗長化できれば、結果として似たような物かな。
>>801
全然違う
0803login:Penguin
2011/07/05(火) 00:33:32.22ID:RSKVgOX31.008TBの容量が使えるの?
例が極端で実用性なんかないのは分かってるけどさ。
0804login:Penguin
2011/07/05(火) 00:37:45.63ID:33unv3rV0805login:Penguin
2011/07/05(火) 10:04:21.50ID:AdqPy2/Rどういう理由でこういう風になるのでしょうか。
0806login:Penguin
2011/07/05(火) 11:40:58.06ID:LCxqiQEp0807login:Penguin
2011/07/05(火) 12:11:24.64ID:XtL2LPXzほんとだとしたら問題があるのは Windows の方だから
Windows 関連の板で聞いた方がいいんじゃないの。
0808login:Penguin
2011/07/05(火) 12:53:24.65ID:A3bK/yL50809login:Penguin
2011/07/05(火) 13:45:31.12ID:XtL2LPXz0810login:Penguin
2011/07/05(火) 13:47:07.22ID:gIWGa7cNあれじゃないか?
いちいち最終アクセス日時を記録しにいく...ってやつ。
linuxだとnoatimeでマウントするとか、いくらでもやりようがあるが、
windowsはちょっと違うことしようとするとすぐ壁に突き当たるからな。
0811login:Penguin
2011/07/05(火) 13:50:17.03ID:YUhMtd3w新品はないので、話題としては収束している。
0812login:Penguin
2011/07/05(火) 15:57:40.79ID:GuFvR+FRNtfsDisableLastAccessUpdateはとうにデフォルトになっている話
http://msdn.microsoft.com/en-us/library/ee681827
しかしプチフリなんてクソSSDの所為だろ
0813login:Penguin
2011/07/06(水) 21:34:07.42ID:DYg+xjdi冗長性1(RAID5に相当)で、
200G, 300G, 500G, 1000G のディスクがあったら、
データに1000G、パリティに1000G使える。
200Gのが壊れて2000G(2TB)に交換したら、
データ1800G、パリティ1800G 使えるようになる。
2000GBでなく1800なのは、2TBのHDDが壊れたときに残るデータ量な。
0814login:Penguin
2011/07/06(水) 21:35:03.19ID:Ge+cZXqpいまだにSSDがプチフリとか言っているバカが居るんだなぁ
0815login:Penguin
2011/07/06(水) 23:34:20.74ID:VWUl+DyE0816login:Penguin
2011/07/07(木) 01:36:04.50ID:dlQomhvoいまだに書き込み回数寿命とか気にしてるやつもいるしな
0817login:Penguin
2011/07/07(木) 16:01:29.84ID:GFwV7q5AいまだにJMicron製使ってる俺にあやまれや
0818login:Penguin
2011/07/07(木) 19:47:22.69ID:i54eSR4P0819login:Penguin
2011/07/07(木) 21:24:37.69ID:CtlPVbUM0820login:Penguin
2011/07/07(木) 23:54:31.57ID:VdGVCNVnで、もう限界
そもそも書き換え可能ROMを不揮発RAMのように見せかけている時点で無理がある
ブチフリは今も発生している
最近のSSDはバックグラウンドでガーベージコレクションやレベリングやってるので目立たないだけ
ちょっとでもSSDの仕組みを知っていれば原理的にプチフリが発生する事も分かるよ
それにしてもSSD厨の驚くべき無知さよ
0821login:Penguin
2011/07/08(金) 00:30:43.79ID:9HtZ6rG/0822login:Penguin
2011/07/08(金) 08:43:59.60ID:LabhhmcV0823login:Penguin
2011/07/08(金) 10:14:21.40ID:e5rm4x1LNANDフラッシュの特性に限ればその話は概ね合ってるんだけど
ここ最近のコントローラの進化っぷりは半端ないから是非調べて
みることをオススメするよ!
0824login:Penguin
2011/07/08(金) 12:53:48.53ID:n9XZLxtZ一体最適な書き込みブロックサイズが幾つなのか知りたい。
測ってもコントローラの頑張りで判るような判らないような。
0825login:Penguin
2011/07/08(金) 13:34:58.26ID:LsCvq4C7512×並列度でいいんでないかい
まあ外で工夫しても賢いコントローラーさんはちょっかい出してくるので
無駄な努力になりそうだが
0826login:Penguin
2011/07/08(金) 23:44:21.06ID:WaJMoObkサーバーのリブート時に強制的にreiserfsck --fix-fixableをかける方法ってないかなぁ。
touch /forcefsckをしても、どうもReiserFSには効いてない気がするのよね。
サーバーのところまで出かけて行ってgpartedのCDブートでもして、
直接reiserfsck --fix-fixableを実行してこられれば手っ取り早いんだけど、
何せデータセンターまで遠方なもんで……。
どうかお知恵をお貸しください……。
0827login:Penguin
2011/07/09(土) 00:10:39.79ID:DT7fkG1l0828login:Penguin
2011/07/09(土) 01:05:40.41ID:ZxtfTDpd0829login:Penguin
2011/07/09(土) 01:17:47.14ID:17WoFD2Z/etc/rcS.d/にスクリプト置いとけ
>>828
かましたら再起不能になって
現地直行:1回
電話リモート操作:3回
という自慢できない過去
0830login:Penguin
2011/07/09(土) 02:08:38.23ID:3adJrPK8swapパーティションがあるなら、
一時的に潰してdebootstrapでメンテナンス環境を作成
その環境を/にするエントリをgrubに追加して再起動
んで、本来のルートファイルシステムをfsck
IP-KVMが使えるならstatic linkなfsckを入れたinitramfsを作ってfsckする
どっちも推奨しないが。
それ以前にfsckが必要と判断した根拠は?
0831login:Penguin
2011/07/09(土) 07:27:49.77ID:wXRR4SxU0832login:Penguin
2011/07/10(日) 12:21:02.75ID:2tLYdOHm0833login:Penguin
2011/07/10(日) 13:41:35.61ID:7T6OKoiR0834login:Penguin
2011/07/10(日) 14:21:03.17ID:VitrB6wRあなたから fuck
0835826
2011/07/10(日) 15:16:17.06ID:NZ2kE2vn>>830
営業所内にあるサーバーでこの前一年ぶりくらいにreiserfsckしてみたら、
結構たくさんtransaction replayed(だったかな)が出てたんですよ。
それで、データセンターのほうに置いてあるサーバーにもたまにはreiserfsckかけときたいな〜、と。
社内向けサービスのサーバーだから、ミスってもお客様には迷惑はかけないし、
最悪、自分がデータセンターに行けばいいわけだし、もし何か遠隔でできそうなことがあれば、
手元のマシンで手順を確認してからやってみてもいいかな、と思ったわけです。
(自分の経験のためにも)
メモリ8GBでスワップパーティションはないので(念のためのスワップファイルは1GBある)、
「debootstrapでメンテナンス環境を……」というのは無理ですね。
IP-KVMというのは初めて聞いたので、調べてみます。
いずれにしても / がReiserFSなので、何らかのスクリプトを動かすにしても
マウント前にしなければなりませんよね。
一時的にでもinitramfsを改造するか……。
0836login:Penguin
2011/07/10(日) 16:53:27.93ID:stZnuZCj『んなオプション知んねぇ〜』
って言われてマウントできなかった。。。
自身の情弱ぷりに涙を流した瞬間だった。
0837login:Penguin
2011/07/11(月) 03:26:17.45ID:lH/gH9mdHDDのクラッシュが怖いから、今RAID5で組んでるディスク領域をbtrfsのソフトウェアRAIDにしたい。。
0838login:Penguin
2011/07/11(月) 15:46:58.51ID:ExIhgPNb0839login:Penguin
2011/07/11(月) 15:59:27.62ID:cRjLDw3t読み込みを速くするのに何かいい方法はありますか?
ファイルシステムはxfsで6台のNFSクライアントから読んでいるのですが、
NFSサーバのvmstatを見てるとbiが12MB/sほどしか出てません。
NFSサーバ上でデータがキャッシュに全部載ってしまえば
NFSクライアントからの読み込みは爆速なんですが・・・
0840login:Penguin
2011/07/11(月) 16:02:13.04ID:cRjLDw3t60MB/sくらい出ます。
0841login:Penguin
2011/07/11(月) 16:08:22.95ID:Vu9xqvBEマウントオプションはどうしてるの?
0842login:Penguin
2011/07/11(月) 16:14:34.69ID:cRjLDw3tCentOS5なんで-o ro以外はlocal/nfsともデフォルトです
0843login:Penguin
2011/07/11(月) 16:58:35.85ID:QbFM7WtHボトルネックはどこか確定してるの?
0844837
2011/07/11(月) 17:10:55.59ID:lH/gH9md今RAID機能付きHDケースでハードウェアRAID5にしてるんだけど、
最近「RAID-5書き込みホール」っていう問題があることを知って愕然としてるとこ。。
RAID-Zだとその問題がないらしく、マシンスペックさえあればパフォーマンスも
良好らしいと聞いてSolarisに興味をもつ→もうフリー配布してないorz
そうだ、btrfsならすべて解決してくれるかも!
という猿知恵が輝いてるとこです
0845login:Penguin
2011/07/11(月) 17:15:13.25ID:62CqJtH+0846login:Penguin
2011/07/11(月) 17:32:05.57ID:fFpUgjIuそこまで気にする人が、まだ十分枯れているか分からないbtrfsって
バランス欠いてるんじゃ
0847login:Penguin
2011/07/11(月) 18:19:04.72ID:mJZLdPAOFreeBSDでもzfsでraidz使える
OpenIndianaかFreeBSDあたりを検討すればいいと思うよ
btrfsはまだraidz相当の機能はなかったと思うがどうだったかな
0848login:Penguin
2011/07/11(月) 19:06:34.34ID:ExIhgPNb0849login:Penguin
2011/07/11(月) 19:08:55.50ID:H1W89Avfわざわざ買ってきたんだし
0850login:Penguin
2011/07/11(月) 19:10:04.78ID:2KAN6bls0851login:Penguin
2011/07/11(月) 19:32:50.98ID:E7Axg5Gs0852837
2011/07/11(月) 20:25:19.68ID:lH/gH9md耳が痛い。。。いや、無知ゆえに未知の恐怖におののいてるような状態です
「RAID-5書き込みホール」なる問題が洒落にならない問題ということは調べてわかったけど、
それがどの程度の発生可能性があるものか言及されている所がないので、ただ怖い怖い!って思ってるというか。
でとにかくどこかに良い藁ないか!藁!って探してる感じ。
>>845
>>847
OpenIndiana、初耳!
こんな素敵プロジェクトになってたなんて。。
btrfs待ちで一年くらい前から待ってた(次期Fedoraでデフォルトfsになるまで)んだけど、
もうまたなくてよさそうな気がする!
0853login:Penguin
2011/07/11(月) 20:52:11.83ID:ZSaSeYJXつ「RAID-10」
0854login:Penguin
2011/07/11(月) 20:55:08.54ID:s1HNX4ixzfsは巨大だと聞きますが...
■ このスレッドは過去ログ倉庫に格納されています