ファイルシステム総合スレ その14
■ このスレッドは過去ログ倉庫に格納されています
ファイルシステム総合スレ その13
http://engawa.2ch.net/test/read.cgi/linux/1311812102/
●関連スレ
ジャーナリングファイルシステム
ttp://hibari.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 5
http://hibari.2ch.net/test/read.cgi/unix/1285876800/
過去スレ、関連リンクは >>2-10 あたりで。
0755login:Penguin
2012/05/28(月) 22:21:11.05ID:JoD8MIslディスクの読み書きの速度は同等だし、CPUが足引っ張ってるわけでもなさそう。
大ファイルの連続読み出しのパフォーマンスが悪いのか…
0756login:Penguin
2012/05/28(月) 22:34:42.33ID:pfdxoNCTストライプサイズが大きいとサイズの大きなファイルを処理するときに有利で、
動画編集系の業務システムではそうなっていると聞いたことがある。
その理屈で言うとストライプサイズの小さめの RAID-Z は不利なのかも。
「引っかかるようになった」のが使い続けていくうちにどんどん悪化してそうなった
のか ZFS にしたからそうなったのかが気になるんですけどどっちですか?
# RAID-Z って大きいファイルだとフラグメンテーションしまくりな気が。
0757login:Penguin
2012/05/28(月) 22:55:18.32ID:bomq/PUEraidに飽きたらcronでバックアップ
安定と速さ、コスト重視ならraidなんかいらない
0758login:Penguin
2012/05/28(月) 22:57:56.77ID:JoD8MIsl最初からそうでした。
まだまだ容量余ってるし、メモリも8GBあるんだけどなー。
録画置き場だけじゃなく、mac用ファイルサーバにもしてるので、映画見てるときにTimemachine のバックアップ走ると飛びまくり…
0759login:Penguin
2012/05/28(月) 23:46:36.39ID:pfdxoNCT返信ありがとうございます。
でかいファイルの扱いそんなに不得意なの?
JAIST かどっかでFTPサーバに使ってる話もあったからちょっと眉唾。
CPU の性能/コア数が足りないだけの気がするけど TCP/IP の実装が Linux と
FreeBSD で違ってるせいで MAC との通信ばかり優先されるとかあるのかも。
0760login:Penguin
2012/05/29(火) 00:13:01.84ID:So0/YmwIファイルサーバの設定をチューニングするんじゃないの?
0761login:Penguin
2012/05/29(火) 00:54:24.48ID:qjgx8ugW2chサーバーもblog見るとパラメータ調整を相当数してるし
0762デムパゆんゆんネトウヨ特攻兵@5月病 【関電 62.1 %】
2012/05/29(火) 01:50:54.77ID:U5WNEXG6zfsのバージョンが気になる
zfs -V zpool -Vの結果見せなさい
0763login:Penguin
2012/05/29(火) 03:14:57.97ID:LxrSwIcUしたときの、性能のスケーラビリティやキャッシュの利用効率にあるので、
自宅サーバーで利用するメリットは少ない。
ZFSはチューンナップが必要ないように設計されているので、
パラメータをいじるとほとんどの場合裏目に出る。
ただ、先読みキャッシュを切るのは試す価値がある。
zfs:zfs_prefetch_disable=1
0764login:Penguin
2012/05/29(火) 03:17:54.40ID:v6wCq4A9ありがとー
Ubuntu 12.04(kernel 3.2)のext3では実際にバリアが有効になっているか調べてみるよ
0765login:Penguin
2012/05/30(水) 00:03:32.90ID:eFfiskuaFreeBSD 9.0-RELEASE
zpool upgrade -v
This system is currently running ZFS pool version 28.
略
zfs upgrade -v
The following filesystem versions are supported:
VER DESCRIPTION
--- --------------------------------------------------------
1 Initial ZFS filesystem version
2 Enhanced directory entries
3 Case insensitive and File system unique identifier (FUID)
4 userquota, groupquota properties
5 System attributes
For more information on a particular version, including supported releases,
see the ZFS Administration Guide.
てな雰囲気です。
0766login:Penguin
2012/05/30(水) 08:28:42.10ID:Hg7I9VUi0767login:Penguin
2012/05/30(水) 10:35:10.06ID:Fem8Gu/ghttps://code.google.com/p/zfs-win/
0768login:Penguin
2012/05/30(水) 10:53:11.42ID:BMjgTba50769login:Penguin
2012/05/30(水) 12:29:51.28ID:kpTDIFzh0770login:Penguin
2012/05/31(木) 02:15:57.62ID:0QtNiaVtZFSで仮想マシン動かしてヒャッハーしたいならイメージじゃなくzvolにOS突っ込んだら?それでどんだけパフォーマンスに影響するかは知らんが。
それにL2ARCなんてしばらく埋まらんからとりあえず設定だけして仮想マシン起動時間測ってみました、なんて言ってもねぇ。
0771login:Penguin
2012/05/31(木) 11:27:30.83ID:CrxYKJgINexentastor3.1.3がリリースされたから、Solarisカーネル環境でのパフォーマンスも見てみたらいいんじゃないか?
0772login:Penguin
2012/05/31(木) 15:26:50.04ID:xWRvQh87touch foobar してみても設定はされなかった。
0773741
2012/05/31(木) 21:48:05.00ID:a1oDG+L0ZFSでヒャッハーしてます。
一般のファイルの作成、Nautilusなんかでファイルの整理するには
全く問題なく使えてますが、なんとVirtualboxで深刻な問題が
発生しました。仮想イメージをZFSに置いて動かすと、仮想イメージが
壊れてしまいます。イメージを最初に小さく作っておいて、データが
増えるとディスクイメージも大きくなる設定です。
ヒントを頂いたZvolで100Gぐらいのボリュームを切り出して、
Ext3で初期化してそちらに置いたら解決しました。
目的に合わせて柔軟に使えるのも、面白いですね。
0774login:Penguin
2012/06/01(金) 02:36:39.43ID:CGIW/EB2データが壊れるなんて最低じゃね〜の?
0775741
2012/06/01(金) 09:12:37.53ID:SXtJZzRyVirtualboxの仮想ディスクを確保しておくと、問題ないようです。
まとめると次のとおりです。
Dynamic allocated size
ZFS上でCentOS 5.8インストール中 2回/2回 ディスクエラー発生
ZvolでCentOS 5.8インストール 1回/1回 正常終了
Fixed size storage
ZFS上でCentOS 5.8インストール 1回/1回 正常終了
0776login:Penguin
2012/06/01(金) 11:56:12.20ID:GcMrQfvt稼働中のHDDをハンマーでぶん殴って壊して
縮退→交換→リカバリーやってる動画あったな
0777login:Penguin
2012/06/01(金) 17:27:29.04ID:J3dtdgCS動かしたらイカンだろw
0778login:Penguin
2012/06/02(土) 09:17:25.99ID:XDNKPOnJ0779login:Penguin
2012/06/03(日) 17:57:37.62ID:7w5zwRqG0780login:Penguin
2012/06/05(火) 23:17:16.17ID:Gi2JWTny0781login:Penguin
2012/06/05(火) 23:27:45.31ID:FEWgyqNC0782741
2012/06/06(水) 05:27:46.00ID:TNAN5jIGオレ(Linux)なんか、はぁ..
おまえ、いまオレを笑ったか?
ZFSが使えないと笑ったよな?
そうか..はぁ..いっしょに落ちようぜ。
怪しげなソフトを入れて、地獄の底までいって、
そして自分を笑おうぜ。
はぁ、はは、おまえはいいよなぁ…どうせオレな・ん・か・…
0783login:Penguin
2012/06/06(水) 21:45:22.79ID:5Nok49dI希望を捨てて自暴自棄になってはいけない。神はちゃんと見ておられる
ボラクルを信じるのだ
0784login:Penguin
2012/06/07(木) 09:11:43.16ID:qPhT8sHE誰かいってない?
0785login:Penguin
2012/06/07(木) 09:23:45.62ID:+FfpkS6lBtrfsはRAIDがつかないのが残念。
0786login:Penguin
2012/06/07(木) 09:28:30.55ID:5ZeX391/それどういう意味?
0787login:Penguin
2012/06/07(木) 11:17:01.33ID:Z95FiJQCI/Oエラー時のスペアディスクのサポートって言ってた
0788login:Penguin
2012/06/07(木) 12:24:52.60ID:CTYTgelUあ、RAID-0/1/10はあるね。ただ、ZFSにおけるRAID-Z・Z2みたいなパリティ
つかうRAIDがない。
0789login:Penguin
2012/06/07(木) 12:34:31.85ID:5ZeX391/しばしまて。
3.5でmergeしたかったけどまだ延期というのが最新状況だっけ?
0790login:Penguin
2012/06/07(木) 12:55:08.54ID:5ZeX391/> ボラクルを信じるのだ
btrfsのメイン開発者がOracleからFusion-ioに移籍したぞ。
よかったなー。
これで心置きなくOracle叩きできるぞ。
0791login:Penguin
2012/06/07(木) 13:15:32.64ID:EBrMIkFlZZFS
ダブルゼータ/ダブルズィーFSとか
0792login:Penguin
2012/06/08(金) 00:04:52.35ID:mNwSyRJb0793login:Penguin
2012/06/09(土) 05:59:48.50ID:Jvnl8fc60794login:Penguin
2012/06/09(土) 08:28:54.36ID:qQp1Nawymv 寿限無、寿限無、五劫の擦り切れ、海砂利水魚の水行末 雲来末 風来末、
食う寝る処に住む処、やぶら小路の藪柑子、パイポパイポ パイポのシューリンガン、
シューリンガンのグーリンダイ、グーリンダイのポンポコピーのポンポコナーの、
長久命の長助.txt \
10ゲーム、10ゲーム、後藤の振り逃げ、ジャイアンツ球場、毎週末、フライ取る、
ピンチのところに角みつお、球児好児の右好児、大豊、大豊、大豊のチューインガム、
チューインガムはグリーンウェル、グルーンウェルはポンコツだけど、
チンポコだけは超級極に超すげぇ.txt
0795login:Penguin
2012/06/09(土) 15:26:25.68ID:CYJESA2dまじっすか。これでbtrfsも日の目を見るのですね胸熱
0796login:Penguin
2012/06/09(土) 23:39:08.42ID:kBHkLsAVBtrfsの開発が今以上に遅くなるだけだと思う…
0797login:Penguin
2012/06/10(日) 04:26:40.88ID:m9ltFuzM0798login:Penguin
2012/06/10(日) 10:21:15.46ID:CTEqf0MMMS?ヤメテクレ
0799login:Penguin
2012/06/10(日) 10:52:54.32ID:OFnzryCV0800login:Penguin
2012/06/10(日) 11:39:29.82ID:BOujf8XYハードリンクがないとか、UNIXでは使いにくいfsになりそうな仕様なのが残念
0801login:Penguin
2012/06/10(日) 14:39:05.49ID:hb5gztZS重複排除なんてReFSには入ってないぞちゃんとホワイトペーパー嫁
2012で新しく入る重複排除はNTFSだけだ
0802login:Penguin
2012/06/10(日) 14:47:43.05ID:hb5gztZShttp://blogs.msdn.com/b/b8/archive/2012/01/16/building-the-next-generation-file-system-for-windows-refs.aspx
>Q) How come ReFS does not have deduplication, second level caching between DRAM & storage, and writable snapshots?
>ReFS does not itself offer deduplication.
0803login:Penguin
2012/06/10(日) 22:28:04.74ID:JwGLO5xXハードリンクは100歩譲って無くてもWindows Serverで困らんとしても、
スパースファイルを無くしたのは理解できないな。
0804login:Penguin
2012/06/10(日) 22:59:38.71ID:MefZB5FW0805login:Penguin
2012/06/11(月) 00:06:37.85ID:pnBHOzNwもうとっくに準拠する気ないだろ。
独自仕様だったり、すぐ技術を捨てるから嫌いなんだ、あの会社。
0806login:Penguin
2012/06/11(月) 00:11:05.32ID:s7RGctxDWindows環境だとハードリンク以上に使われてない
UNIX系の実装と違って暗黙の内に使われないし低リソースコストでもない
設計上の理由によりファイルサイズが大きいほど使い物にならない
だったらReFSでまともな設計と実装すればいいだろって気もするがどうせ使われてないしって判断されたんじゃないか
0807login:Penguin
2012/06/11(月) 04:37:09.02ID:qHJPw6rD互換レイアは乗せるんじゃ?
まPOSIX自体が古くさいからな
さっさとPlan9に移行したら良かったのに
0808login:Penguin
2012/06/11(月) 09:18:01.60ID:usJIEui+すでにデータがあるZFSのドライブを再度create poolしてしまった場合の復旧方法ってないのでしょうか?
0809login:Penguin
2012/06/11(月) 11:48:17.36ID:XqKJBt3tバックアップからデータを復旧。
0810login:Penguin
2012/06/12(火) 00:14:14.46ID:c8ME4i3cやっぱりそうなるのですね...。
バックアップはないのです。
0811login:Penguin
2012/06/12(火) 00:56:21.94ID:A80hLwHw0812login:Penguin
2012/06/12(火) 01:35:41.78ID:CNHA46Eb0813login:Penguin
2012/06/12(火) 06:29:32.30ID:1oUeLMaZバックアップは完璧
0814login:Penguin
2012/06/12(火) 12:02:02.28ID:A80hLwHw0815login:Penguin
2012/06/12(火) 16:19:18.95ID:S638pBsp0816login:Penguin
2012/06/12(火) 16:34:38.78ID:VjfjQ8Wn別のスレだったら「スナップショットはバックアップじゃねーよwwwww」みたいに爆釣りなはず。
0817login:Penguin
2012/06/12(火) 21:59:52.99ID:c8ME4i3c日デに頼んだのですが復旧できませんでした。
GIGAZINEの記事はステマですねw
0818login:Penguin
2012/06/12(火) 22:05:41.95ID:c8ME4i3c0819login:Penguin
2012/06/12(火) 22:24:27.24ID:2a400Qf1画像ファイルで数百万(1つ10kb程度)あります。
現在MYSQLとPHPでwebサイトに表示しています。
今のところ画像ファイル7万点なんですが、特にパフォーマンスに問題はありません。
しかし、最終的なファイル数はおそらく数百万ファイルになりそうで、
このままファイル数が増えていったらリスト表示もできなくなりそうです。
一つのフォルダに数百万のファイルをまとめるのと、
フォルダを10万ファイル程度に区切って、mhddfsなどで統合する方法は
どちらのほうがパフォーマンスは上なんでしょうか?
一つのフォルダに入れるファイル数は1万5千程度が良いとか、
数百万ファイルでもパフォーマンスは落ちないとか情報があって、
実際のところどうなのかな?と思って質問させてもらいました。
0820login:Penguin
2012/06/12(火) 22:24:49.10ID:w0tL+HNLあれ日本データテクノロジーだったんだ
0821login:Penguin
2012/06/12(火) 22:45:24.00ID:QzzsWMC81フォルダ1000ファイルくらいにまで分けろ。
0822login:Penguin
2012/06/12(火) 22:51:32.10ID:74O6EGVK経験が無く、ツールやノウハウが無かったから。
世の中の多くのサーバはWindowsで、残りのサーバのうちZFSなのは
さらに少ない。データテクノロジーもExt3の復旧は得意だけどね。
何とかなりましたとさ。
という記事だった。
0823819
2012/06/12(火) 23:31:24.31ID:2a400Qf1それは1000のファイルが入ったフォルダを1000個作ったほうが、
1つのフォルダに100万個のファイルを入れるより、パフォーマンスが上ということですか?
mhddfsやAufsという方法を使った場合も同じ結果でしょうか?
なにぶんファイル数が膨大で、ファイルをアップロードするだけでも大変なので、
経験者の方のアドバイスがあれば嬉しいんですか・・・
0824login:Penguin
2012/06/12(火) 23:43:15.90ID:MpEUHCJi上がるはず。Subversionのファイルもshardingをして
同じようにディレクトリ当たりのファイル数を減らすチューニングが入ったことがあった。
0825login:Penguin
2012/06/12(火) 23:54:37.84ID:c8ME4i3cでもNTFSやext3なら自分で復旧しますよねw
0826login:Penguin
2012/06/13(水) 00:16:06.10ID:im3XxTJbそういうのはFSでやんじゃなくてデータベースでやる仕事。
0827819
2012/06/13(水) 00:27:57.04ID:NicPlsMSなるほどやはり分けたほうが効率的なんですね。
ググッてみるとやはり数千単位なら動作に支障が無いと出ることが多いですね。
>>826
画像データをデータベースで管理するということでしょうか??
そうすると、画像のバイナリデータを文字列化なんかにしてテーブルに格納して・・・
ということでしょうか?まったく考えもしなかったですw
0828login:Penguin
2012/06/13(水) 00:39:24.57ID:fuVjCYIgNoSQLでもバイナリデータ入れられるデータベースは多いけどね。
俺は逆に大量の画像とかそういうのこそファイルイシステムがやる仕事だと思ってるんだけど。
それはさておきext3ならdir_index付ければ普通はファイル数が多くてもそんなにパフォーマンスが落ちることはないはずだし
最近のファイルシステムならinode枯渇とかしてない限りはファイル多くても大抵は大丈夫なんじゃないかな
0829login:Penguin
2012/06/13(水) 00:58:23.46ID:3SaHO1QS0830login:Penguin
2012/06/13(水) 01:12:19.40ID:+Wj+1Zxy0831login:Penguin
2012/06/13(水) 01:55:53.41ID:NicPlsMSなるほど、勉強になります。
そもそもファイルシステムがこういった案件に弱いというのが疑問ですねw
>>830
BLOBという型にして呼び出すんですね。
こちらで質問しなければ、まったく思いもよりませんでした。
ちなみにこの方法だとファイル数(レコード数)が数百万というテーブルを作っても
パフォーマンスが極端に落ちるということは無いのでしょうか?
0832login:Penguin
2012/06/13(水) 02:33:07.72ID:GV9bfSgb言葉で説明するのは困難なことは
実際にやってみるのが一番いい
理屈で考えるのではなく、現実はどうなるかを体感するのは重要である。
0833login:Penguin
2012/06/13(水) 02:44:53.17ID:+Wj+1Zxyデータベースの場合、数百万件なんて普通レベルなんでインデックス
のキーが適切に選択されていて、メンテナンスしてれば極端な劣化は無い。
しかしデータの増加や追加削除の繰り返しによるパフォーマンス劣化は
BLOB に限った話ではなくデータベース共通の話。
テーブルの断片化解消やインデックスの再構築でググれ。
Hadoop の HDFS は名前こそ FS だがマウントも出来ない BLOB 型のデータベースの
表みたいなもので、そういうものが一部でもてはやされる事を考えると既存のファイル
システムで相当数のファイルを管理するのは構造的に無理があると考えるべきかな。
0834login:Penguin
2012/06/13(水) 06:42:31.78ID:Q0aB+GDr0835login:Penguin
2012/06/13(水) 08:53:01.83ID:uA/huhkAデータベースで持つと、DBのダンプバックアップで死ぬ。
いずれにしてもバックアップで死ぬことに変わりは無い。
0836login:Penguin
2012/06/13(水) 09:10:08.57ID:SNVs8i2Y0837login:Penguin
2012/06/13(水) 10:49:44.68ID:Vo7uLr110838login:Penguin
2012/06/13(水) 12:17:39.91ID:Q0aB+GDr0839login:Penguin
2012/06/13(水) 12:19:02.65ID:Q0aB+GDr0840login:Penguin
2012/06/13(水) 12:19:44.22ID:TEq9LBw00841login:Penguin
2012/06/13(水) 21:10:04.34ID:XRYJLg+tbtrfsの圧縮ファイルシステムって実用になった?
0842login:Penguin
2012/06/13(水) 21:16:27.24ID:fS2w2fWW0843login:Penguin
2012/06/13(水) 21:59:48.11ID:9t1XfE5U0844login:Penguin
2012/06/14(木) 18:27:36.77ID:qXP3mfTPOCFS2 のほうが手軽かな?と思ってんですが。
共有ディスクの用途は Maildir のあるホームディレクトリ。
0845login:Penguin
2012/06/14(木) 19:43:43.82ID:IoUaFPCMなんでmaildirの共有でクラスタファイルシステム?
iSCSIとかでSAN組んでいるの? でも、普通にNFS使えばいいやん
0846login:Penguin
2012/06/14(木) 21:06:50.50ID:g26savghlsyncがCPU使いまくるんだけど、やっぱこれ結構おもい?
0847login:Penguin
2012/06/14(木) 21:17:17.07ID:hSWjO2am0848login:Penguin
2012/06/14(木) 21:22:24.95ID:g26savgh0849login:Penguin
2012/06/14(木) 21:22:42.00ID:qXP3mfTP2サーバで共有ディスク(SAS)があるから
0850849
2012/06/14(木) 21:27:48.19ID:qXP3mfTPで2台+共有ディスクありきで Active/Active で構成したい。
0851login:Penguin
2012/06/15(金) 08:55:32.46ID:etFWwJqYあって、3年ぐらい使っているんですが、だんだん速度が
遅くなってきています。
データが爆発的に増えたかというと、むしろ導入時から減っていて、
ddでディスク書き込みの速度を比較すると、全く劣化はありません。
このような場合、ディスクを疑うべきか、OS(Redhat 5)の
設定を疑うべきか。スパっとわかる方法は何かないですか?
0852login:Penguin
2012/06/15(金) 09:52:26.16ID:IihlBhKxメタがキャッシュから溢れて遅くなっている
0853login:Penguin
2012/06/15(金) 11:29:51.62ID:etFWwJqYあまり細かなことがかけなくて申し訳ない。
/var/data/000
/var/data/001
/var/data/002
/var/data/003
というデータディレクトリに、それぞれ100個ぐらいの
サブディレクトリがあり、その中に約5000個ぐらいの
ファイルがあるというシステムです。/var/dataが
ext3で初期化されたストレージのマウントポイントです。
ファイルの数はたしかに多いのですが、分散して
格納されているので、メタキャッシュの問題は無いと
思うのですが。
何か調査のヒントがあれば助かるのですが。
0854login:Penguin
2012/06/15(金) 11:51:15.99ID:tGg2+kbq0855login:Penguin
2012/06/15(金) 11:55:19.21ID:OdpSy71Vtune2fs -l のDefault directory hashとFilesystem featuresの値をみせてー
■ このスレッドは過去ログ倉庫に格納されています