ファイルシステム総合スレ その16
■ このスレッドは過去ログ倉庫に格納されています
0001login:Penguin
2013/03/15(金) 11:51:55.78ID:O3XCXQazhttp://engawa.2ch.net/test/read.cgi/linux/1341012960/l50
●関連スレ
ジャーナリングファイルシステム
http://toro.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 6
http://toro.2ch.net/test/read.cgi/unix/1337411922/
FS関連スレ
http://kohada.2ch.net/test/read.cgi/os/1137387538/l50
過去スレ、関連リンクは >>2-10 あたりで。
0751737
2014/06/26(木) 22:50:58.46ID:8H8ymdtT>>737の運用方法が穴だらけなのは十分承知していますし、
費用度外視で理想の方法をあげればきりがないのもわかります。
ですが、今回はあくまで「余っているHDDの再利用」+「非常時のための
コールドスタンバイでのバックアップ」が目的でそれ以上は求めていません。
0752login:Penguin
2014/06/27(金) 10:39:27.37ID:/SITy1XBこれは後々自分は悪くない、悪いのは教えた方ってゆー典型
せっかくレス貰っても振り出しに戻ってるしな
自分で考えた最強の方法にしとけ
0753login:Penguin
2014/06/27(金) 10:58:33.52ID:Jzs6Gski>HDDが1台死んでも他のファイルは生きており、syncで破損ファイルをバックアップしなおす
よくわからんけどこの2つを満たすFSってあるの?
ていうか実現できるの?無理じゃね?
0754login:Penguin
2014/06/27(金) 11:51:46.30ID:Obdb7JZX0755login:Penguin
2014/06/27(金) 19:29:30.83ID:JYBFXueA単にコピーすりゃいい
0756login:Penguin
2014/06/27(金) 21:09:42.05ID:eJnsl1j2ファイルベースストライプはこれ以外は grusterfs ぐらいしか知らん。
HDD はほっとくとデータ消える事があるらしい(だからRAID装置はスクラブする)ので、
そこを運用でどう検知するかが問題かな。
0757login:Penguin
2014/06/27(金) 22:28:08.10ID:DqlsKQGG0758login:Penguin
2014/06/28(土) 08:46:01.36ID:1GtvnGnqHDDが壊れたら、オリジナルから再度バックアップするってだけで
冗長性なんか要求してないと思うよ
壊れた部分の切り離しのしやすさとかそういうのを求めてるんじゃないの
知らないけど
0759login:Penguin
2014/06/28(土) 09:14:29.75ID:LvZI/arM0760login:Penguin
2014/06/28(土) 11:01:37.40ID:KR5byf0B手間がかかる割に効果が薄くても構わないんじゃないか。
結果が伴わなくても、それ自体が予算増額へのステップアップになりえるし。
>>759
単体ディスクに順番にコピーしてくれるのを助けてくれるのが mhddfs なわけだが。
0761737
2014/06/28(土) 11:10:24.38ID:dFPMEmVwとりあえずmhddfsで運用して様子を見てみようと思います。
>>756
ほっとくとデータが消えるというのは初めて知りました。
データ内容はそこまで大きく変わらないため、
syncのログはまめにチェックするようにします
0762login:Penguin
2014/06/28(土) 14:01:29.66ID:KR5byf0Brsync のログに出た時にはもうアウトなので、SMART でエラーが出ていないか確認かな。
リカバリー可能エラーはOSには報告されないので。
本当は定期的にフルバックアップしてスクラブ相当を実施したうえで SMART の確認が良いけど、
石橋をたたいて壊すことになり兼ねないので、痛し痒しだな。
0763login:Penguin
2014/06/29(日) 01:56:51.08ID:bBUc2OPCzfs createの時点で文字コードのオプションを指定してなかったせい?
化け方としては「\304\344\355」みたいな感じで表示されてる
0764login:Penguin
2014/07/23(水) 08:10:11.87ID:v8QMeUx7Ubuntu 14.04をThinkPad T430で使い始めたので、
ファイルシステムのの一部をbcacheの管理としました。
バッキングデバイス (HDD)が/dev/sda3(約300GB)
キャッシュデバイス (SSD)が/dev/sdb1(約15GB)
カーネルは3.13.0-32-genericです。
bcacheにはcacheモードがデフォルト値のwritethroughと
書き込みも速くなるwritebackがありますが、writebackを
選んだ場合、syncコマンドの実行で、syncコマンドが固まる
現象が発生しました。 一旦固まると、killでも停止できず
shutdownもできないので、電源OFFで落とすしかありません。
writethroughモードは今のところ問題なく使えてます。
writebackモードを使う何か別の設定はあるのでしょうか?
0765login:Penguin
2014/07/23(水) 12:36:48.42ID:Scq2oimjsyncしたからSSDのキャッシュの
HDDへの書き込み処理が開始されて
時間がかかっていたんじゃないの?
0766764
2014/07/23(水) 22:54:59.81ID:v8QMeUx7そう思うのですが、10分ぐらい待っても、
終る気配がないので再起動してます。
syncコマンドでだけではなく、Thunderbirdの
添付ファイルを開いたあと、固まるのには
参りました。
0767login:Penguin
2014/07/24(木) 01:59:44.86ID:A5OGO22O0768764
2014/07/24(木) 08:07:51.82ID:zZdp7+Akテストしてみました。
writebackにします。
テストデータをddで1Gバイト書き込みます。
この時のdirty_dataは14Mぐらい。
syncコマンドを実行すると、syncコマンドが固まります。
dirty_dataは14Mから徐々に減りますが、6.4Mで動かなく
なり、数分後に調べると0Kになっていますが、syncは
固まったままです。電源OFFで復旧させました。
テストデータが少ないとsyncは固まらないのですが、
仮想PCのディスクイメージを使いたいので、数Gバイトの
書き込みは安定して欲しいです。
0769login:Penguin
2014/07/24(木) 11:08:08.40ID:4hncKUGC0770login:Penguin
2014/07/24(木) 11:09:07.15ID:/FcP6SeYdmesg でなんか出てる?
0771764
2014/07/24(木) 12:51:21.09ID:zZdp7+AkTainted: GF O 3.13.0-32-generic #57-Ubuntu
[ 1080.778490] "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
[ 1080.778493] bcache_writebac D ffff88043e254440 0 215 2 0x00000000
この後10行弱、カーネルダンプの表示があります。
とか出ているので、もしかするとカーネルのバグ?
writethroughなら問題無いし、bcache上にあるThunderbirdの動きは
かなり速く、効果は十分に体感できるので、このまま使うかなぁ..
それともFlashCacheかZFSに変えるかなぁ..
0772login:Penguin
2014/07/28(月) 14:21:06.96ID:GXZQVG/a12x(3/4)=9TB=8.2TiBしか使えないんだな
zpool listとzfs listの表示が違うから何で???ってなった
0773login:Penguin
2014/07/28(月) 18:32:32.04ID:x52yhbKL0774login:Penguin
2014/08/05(火) 21:02:47.23ID:mFg0OqXK透過圧縮もしたし完璧だわ( ;∀;)
0775login:Penguin
2014/08/05(火) 21:07:07.23ID:COUPhSnG0776login:Penguin
2014/08/05(火) 21:40:00.65ID:uIDucAMC面倒なので使っていないヘタレです orz
あと履歴の管理にスナップショットを使ってみたいがバカだからオプションが分からない orz
0777login:Penguin
2014/08/05(火) 21:54:15.38ID:mFg0OqXKttps://btrfs.wiki.kernel.org/index.php/Compression
0778login:Penguin
2014/08/06(水) 17:16:47.88ID:BxI3s3Lz当たり前だがマウントできる。
普通に読み書きできる。
ガベッジコレクトも働いてる。
んだけど、
・ガベッジコレクトをkillしないとアンマウントできない
・スナップショットのマウントに失敗する
これって仕様?
0779778
2014/08/07(木) 00:11:08.52ID:GVoSAnEuそしてこのファイルシステムおもしれー
0780login:Penguin
2014/08/07(木) 01:27:26.71ID:79rPQ/IL0781login:Penguin
2014/08/07(木) 02:38:05.77ID:GVoSAnEuいや、アンマウントについては今一納得いってないんだが、
ガベッジコレクトが邪魔してるのはわかってたし、
-l つけて無理矢理切り離すことにした。
で、スナップショットに関しては、lscpする時点でデバイス指定してやらないと、
どのデバイスのチェックポイントかわからない。
結果的に今まで全く別の論理ボリュームのスナップショットをマウントしようとしてただけという間抜けな話
(chcpについても同じく)
つまり、チェックポイントは全部ボリューム共通して使えると訳わからん勘違いしてた。
初めて使ったからうまく把握できなかったのよ
0782login:Penguin
2014/08/07(木) 18:19:41.26ID:oeBLBw3Xcompress=noでマウントしてbtrfs balanceすればいいと勝手に想像してたけど
間違いだったのか。
0783login:Penguin
2014/08/08(金) 20:28:34.65ID:nBfQ5ayj0784login:Penguin
2014/08/08(金) 20:34:52.87ID:WI8k5vMtそのネタ 飽きた
0785login:Penguin
2014/08/09(土) 19:13:48.38ID:P4nu0Lc20786login:Penguin
2014/08/20(水) 09:36:08.46ID:5geZ+Sphhttp://www.xfs.org/images/d/d1/Xfs-scalability-lca2012.pdf
昔(Debian Lenny~Squeeze時代)デスクトップでXFS使ってたけど糞遅かったっけ。
RedHatが関わってから速くなったのかな。
今度HDD入れ替える時はext4から乗り換えてみようかな。
0787login:Penguin
2014/08/20(水) 22:54:53.57ID:J323FI+B0788login:Penguin
2014/08/21(木) 15:32:02.32ID:N7Buc+Sx0789login:Penguin
2014/08/21(木) 15:43:19.62ID:LqbC9Q940790login:Penguin
2014/08/21(木) 23:51:19.83ID:FKtypgI80791login:Penguin
2014/08/22(金) 09:49:03.83ID:NSia8ui20792login:Penguin
2014/08/22(金) 15:38:23.43ID:llvRQocpてっきりxfsだと思ってたんで。
0793login:Penguin
2014/08/30(土) 15:02:57.60ID:22mjp4hGまともに使えるマルチOSのファイルシステム無いの?
FAT32はいいんだけど1ファイルの容量制限が
0794login:Penguin
2014/08/30(土) 15:10:05.86ID:DlNhGoGOいまいち何をしたいのかわからん。ファイルサーバーでも建てれば?
0795login:Penguin
2014/08/30(土) 15:55:04.77ID:22mjp4hGUSBの方が速いもん
ファイルサーバーじゃ遅いし手軽でないじゃん
0796login:Penguin
2014/08/30(土) 21:52:50.08ID:XTYGDnvK> ファイルサーバーじゃ遅いし
HAHAHAHAHAHAHAHA!
0797login:Penguin
2014/08/30(土) 23:26:30.98ID:UFftpm+eext4でいいんじゃないか?
0798login:Penguin
2014/08/31(日) 11:57:06.78ID:UvxBRRU9windowsから読み書き出来んわ
0799login:Penguin
2014/08/31(日) 12:38:17.18ID:teeDtGGV訂正のレスがないでござる
0800login:Penguin
2014/08/31(日) 12:57:26.42ID:UvxBRRU9頭大丈夫か?煽りもたいがいにしとけや
0801login:Penguin
2014/08/31(日) 13:01:20.79ID:HaFbfY9BWindowsとUSBメモリでデータ移動させてるのか?
ならNTFSでいいんじゃ
0802login:Penguin
2014/08/31(日) 14:33:19.40ID:iKPlBhPPext4はソフト入れるだけでwindowsでも扱えるだろ
0803login:Penguin
2014/08/31(日) 15:08:07.96ID:vBgaomIK0804login:Penguin
2014/09/02(火) 13:18:58.40ID:sN0GxUvsファンレスのスイッチ出ないかなあ無理だよなあ(´・ω・`)
0805login:Penguin
2014/09/04(木) 18:21:30.58ID:qXxwprfjZFSを何とかアップデートできました。
dkms-2.2.0.3-20.のソースコードを拾ってくる。
rpmbuildでdkmsのrpmファイルを作る。
"--nodeps"付きで強制インストールする。
rpm --nodeps -Uvh dkms-2.2.0.3-20.el6.noarch.rpm
アップデートすると、0.6.2-1のパッケージの残骸と、
0.6.3-1のパッケージが衝突して、Zpoolが見えなくなる。
一度ZFSとSPLパッケージをrpmで削除した後、「手動」で
/lib/modules/(カール番号)/extrasのspl*、z*のファイルを
全て削除。再度ZFSをインストールするとZpoolが見えた。
作業中にZpoolが見えなくなった時はさすがに焦った。
0806login:Penguin
2014/09/11(木) 15:46:41.27ID:dlE7co3n2.5インチHDD/SSDが4台搭載(OS、Cache/Log、RAIDx2)できる、
省電力型のPCはありませんか? さらに贅沢をいえば、HDDは
フロントから脱着が可能ならば言うことなしです。
0807login:Penguin
2014/09/11(木) 16:06:40.16ID:2b8VRSUzそこまで極端なのはもうAMDのkabiniとかとお好きなケース+マウントアダプタで
自作するか、NASキットの方が早い。
後者は電源は地雷探索になるが
「NAS用途」として売られてる完成「PC」はほぼないと思われ
0808login:Penguin
2014/09/11(木) 16:34:39.84ID:DujOP/bfttp://www.cv-s.co.jp/product/product_detal.php?jan_code=4560338902064
0809login:Penguin
2014/09/11(木) 16:55:07.34ID:2b8VRSUz「普通の」でいけるかね
なんか行間に
「ITXキューブサイズの小型」と
「ほぼ、もしくは完全ファンレス」
が潜んでそうなんだけど
0810806
2014/09/11(木) 17:06:51.82ID:dlE7co3n早速、Mini-ITXケースで調べてます。
http://akiba-pc.watch.impress.co.jp/docs/news/news/20130402_594255.html
ちょっとイメージしていたより大きい。リムーバブルベイは良いのですが。
発熱が少なくて、ほぼファンレス。
電気代はできるだけ少ないという無理な
希望です。
0811login:Penguin
2014/09/11(木) 20:35:23.73ID:NjvKp/isアイドルで30W位だからそれ以上を望となるとあれだけど
0812login:Penguin
2014/09/11(木) 21:57:46.01ID:E/uP+s8xHPのサーバはケースFanすら手を加えないと回らないので、組み立てパーツを流用したい人はスキルが入ります。
0813login:Penguin
2014/09/11(木) 22:57:33.56ID:NjvKp/is>HPのサーバはケースFanすら手を加えないと回らないので
どういう意味?
0814login:Penguin
2014/09/11(木) 23:45:43.71ID:jWbpEHzhHP Proliant MicroServer ファン交換 | Power of Dreams
>マザー上のファンコネクターは、自作向けのファンとはピンアサインが異なるようで、
>そのまま挿してもファンは動作しませんでした。
0815login:Penguin
2014/09/12(金) 00:45:57.77ID:GhFX61Iuこれ?
0816login:Penguin
2014/09/12(金) 01:47:03.82ID:7aIp7d69http://www.phoronix.com/scan.php?page=news_item&px=MTc4NTM
やったな
0817login:Penguin
2014/09/12(金) 05:19:46.43ID:g4WhxCxtそんな中学生でも出来そうなことをスキルとか言われても
0818login:Penguin
2014/09/12(金) 15:43:43.30ID:YYmuR5hKあとは最大の壁であるライセンスだな。
0819login:Penguin
2014/09/12(金) 17:22:43.37ID:JeZCTG+vメーカー品の一般論だと、Dell,IBMも
コネクターの形状とかを変えていて
市販のものそのままでは使えないケースはあるから、
自分じゃ箱空けない人向けなのかと
思うた。
0820login:Penguin
2014/09/12(金) 18:47:43.27ID:eeHR71clサポートされるらしいので、そうなると仮想基盤としての利用も
できるのかな?
0821login:Penguin
2014/09/12(金) 21:09:03.65ID:a2UUsYQr差分を作って元イメージを参照ってできるからただの差分ファイルかと思いきや、qcow2オンリーでもイメージファイルになりうる。
セクター番号とその位置のデータを追加で書き込んでいってるようなかんじ?圧縮はその追加分をまとめてるだけ?
0822login:Penguin
2014/09/17(水) 19:49:06.41ID:2e7p/CSG0823login:Penguin
2014/09/17(水) 20:15:23.20ID:v+Ba2g+BOracleがbrtfsというゴミを投げ捨てるだけでいいんだけどなぁ……
0824login:Penguin
2014/09/18(木) 16:36:08.44ID:bvAwgm1O巨大tarの展開やコンパイルが遅くなったからベンチ走らせてみたら、
meta data操作でstatはext3の倍ほど遅いし、createやremoveは5倍とか
ちょっと移行する気が起きない遅さなんだが、なんかパラメータチューニングとかいるん?
0825login:Penguin
2014/09/18(木) 16:58:42.45ID:+ntf5I3q0826login:Penguin
2014/09/18(木) 17:45:14.34ID:KhBiYkdl0827login:Penguin
2014/09/18(木) 17:53:42.23ID:8ta63fkp0828login:Penguin
2014/09/18(木) 18:20:42.25ID:L7Sn8Rq/ZFSを使うと早くなるんだ
0829login:Penguin
2014/09/18(木) 18:27:40.25ID:YwU5zKzpOffにして確認してはどうでしょう。
0830login:Penguin
2014/09/18(木) 18:42:04.32ID:bvAwgm1O同一環境のext3との相対評価なんだがスペックそんな関係するのか?
CPUはPentiumクラスでメモリ2GB、HDDは4kIOPSが150ぐらいだったか
>>826
bandwidthは遅いと思ってたけど、metadata操作がここまでとは思ってなかった。
>>829
特殊なオプションなにも指定しないデフォルト状態だから、どっちもoffでした。
0831login:Penguin
2014/09/18(木) 18:57:01.37ID:YwU5zKzpLogとCacheはどうでしょうか?
設定した場合としていない場合ではかなり違います。
HDDのRAID構成で、3〜4本のディスクに同時に読み書き
ができるので、その構成なら単一ディスクよりは速くなります。
zpool status の結果を見せてもらえれば、
またio負荷をかけた状態で、zpool iostat -v プール名 5を
実行して速度を確認して下さい。
0832login:Penguin
2014/09/18(木) 19:27:33.87ID:Uf6n13Z+2GBとかwww
最低8GBは積んどけよwww
0833login:Penguin
2014/09/18(木) 19:29:15.11ID:h2I87dzDZFSはメモリ8GBくらい使うよ
0834login:Penguin
2014/09/18(木) 19:54:33.57ID:bvAwgm1Oext3だったhome disk 1 本の移行だったので、log/cacheも何もなしです。
RAID-Z組めば速くなるとは思いますが、今回はそこまでは。
ちなみにiostatではベンチ中、%utilが70から100%ぐらい。
100%行ってるのはcreateとremoveだったかな。
>>832,833
まじか、ちょっと週末にメモリ買ってくる。
0835login:Penguin
2014/09/18(木) 20:16:13.97ID:O2RGNwJL0836login:Penguin
2014/09/18(木) 21:34:17.21ID:YwU5zKzpiostatじゃなくてzpool iostat -v プール名 5
プール名がstorageなら、
zpool iostat -v storage 5
5秒毎にI/Oの速度を表示してくれる。ディスク複数本積んだら
ちょっと感動する。複数本+log/cacheに分散して
読み書きする様子が見えるよ。
0837login:Penguin
2014/09/19(金) 06:51:26.92ID:FAcnnIkl0838login:Penguin
2014/09/19(金) 12:49:21.52ID:+/oO2Y2E24GB -> 48GBにしただけでも体感変わった。
ついでにSSD余ってたらZILもおすすめ。
0839login:Penguin
2014/09/19(金) 23:34:24.89ID:FEZUTrVuなんでbtrfsの話でOracleが出てくんの?
0840login:Penguin
2014/09/19(金) 23:40:23.92ID:OA62IkRCbtrfsは元々Oracle社が開発したこと、そしてZFSはSunが開発したけど、そのSunはOracleが買収したこと……
くらいかな? Oracleが出てくる理由は。
823じゃないからOracleに言及した本当の理由はわからないけど。
0841login:Penguin
2014/09/21(日) 13:22:12.33ID:wArLUoNKZFSのライセンス問題を解決するにはZFSを持ってるOracleがCDDLをGPLなりに変更する必要があって、
Oracleがbtrfsを見捨てない限りそうはならないからでは?
0842login:Penguin
2014/09/21(日) 19:44:16.94ID:iH/ZO+gSメモリは2G積んでいる。
半年が経過したが、問題は生じていない。
上のレスで、8Gは積まないといっているが、
2Gほどしか積んでいなければ、どういう問題が発生するの?
動作が遅くなるとか、重複排除率が低下するとか?
整合性が壊れたりはしないよね。
0843login:Penguin
2014/09/21(日) 20:06:16.33ID:DgtTT24Odedupしてたら落ちる。
ファイル大量削除しようとすると落ちる。
0844login:Penguin
2014/09/21(日) 20:58:43.64ID:bjZLfU90再起動で1週間待たされるとかのレベル
0845login:Penguin
2014/09/21(日) 22:41:38.19ID:iH/ZO+gSディスク容量節約のために、重複排除を有効にしている。
合わせて4GBほどのバックアップを定期的にやっているが、
重複排除のおかげでディスクは節約できている。
しかし、今度古いバックアップデータを消そうとしている。
これって「大量削除」に相当するのかな。
落ちるのと、激重になるのとは、雲泥の差。
落ちないでしょ?
「再起動で、一週間待たされるレベル」ってどういうこと?
service zfs-fuse restar のこと?
reboot のこと?
前に、同様の場合で、削除したことがある。
rm /files -rf
たしかに遅かったけど、病的なほどではなかったけどな。
いったい、どういう場合のことを言っているんだろう。
0846login:Penguin
2014/09/21(日) 23:07:11.58ID:bjZLfU90こんな感じ
0847login:Penguin
2014/09/21(日) 23:28:24.02ID:fPLC7RJF1)zfs destroy するとき
2)(1)が終わる前に再起動すると、zpool importするとき
async-destroyが有効になってれば大丈夫そうだけど・・・。
pool version が28だと・・・・。
0848login:Penguin
2014/09/22(月) 00:01:31.01ID:b8ji7GQO適当に100kBくらいのファイルを4TB分作ってzfs destroyすればよくわかる。
落ちるというのは挙動が様々で、KPすることもあるし、コンソールの応答がなくなってNum Lock切り替えすらできなくなることもある。
まあ、fuseだからKPすることはないだろうけど。
0849login:Penguin
2014/09/22(月) 06:30:44.39ID:jZWtzL9dこれ面白いね。
ディスクのリプレースがオンラインで出来ますが、
データディスクが1台しかないファイルサーバでも、
作業用のUSBディスクにリプレースでデータを
移して、その後ディスクを交換すれば、動くってこと?
0850login:Penguin
2014/09/22(月) 08:48:04.97ID:ED4do6Nhbtrfsは(コミッターはいるが)Oracleにもはや関係ないのにOracle色がついているのは
不幸なことだな
■ このスレッドは過去ログ倉庫に格納されています