ファイルシステム総合スレ その14
レス数が950を超えています。1000を超えると書き込みができなくなります。
ファイルシステム総合スレ その13
http://engawa.2ch.net/test/read.cgi/linux/1311812102/
●関連スレ
ジャーナリングファイルシステム
ttp://hibari.2ch.net/test/read.cgi/unix/979408065/
OpenSolaris/Illumos (OpenIndiana, etc.) 5
http://hibari.2ch.net/test/read.cgi/unix/1285876800/
過去スレ、関連リンクは >>2-10 あたりで。
0850849
2012/06/14(木) 21:27:48.19ID:qXP3mfTPで2台+共有ディスクありきで Active/Active で構成したい。
0851login:Penguin
2012/06/15(金) 08:55:32.46ID:etFWwJqYあって、3年ぐらい使っているんですが、だんだん速度が
遅くなってきています。
データが爆発的に増えたかというと、むしろ導入時から減っていて、
ddでディスク書き込みの速度を比較すると、全く劣化はありません。
このような場合、ディスクを疑うべきか、OS(Redhat 5)の
設定を疑うべきか。スパっとわかる方法は何かないですか?
0852login:Penguin
2012/06/15(金) 09:52:26.16ID:IihlBhKxメタがキャッシュから溢れて遅くなっている
0853login:Penguin
2012/06/15(金) 11:29:51.62ID:etFWwJqYあまり細かなことがかけなくて申し訳ない。
/var/data/000
/var/data/001
/var/data/002
/var/data/003
というデータディレクトリに、それぞれ100個ぐらいの
サブディレクトリがあり、その中に約5000個ぐらいの
ファイルがあるというシステムです。/var/dataが
ext3で初期化されたストレージのマウントポイントです。
ファイルの数はたしかに多いのですが、分散して
格納されているので、メタキャッシュの問題は無いと
思うのですが。
何か調査のヒントがあれば助かるのですが。
0854login:Penguin
2012/06/15(金) 11:51:15.99ID:tGg2+kbq0855login:Penguin
2012/06/15(金) 11:55:19.21ID:OdpSy71Vtune2fs -l のDefault directory hashとFilesystem featuresの値をみせてー
0856login:Penguin
2012/06/15(金) 11:59:45.85ID:IihlBhKx0857login:Penguin
2012/06/15(金) 12:06:11.27ID:etFWwJqY早速調べてみました。
Filesystem features: has_journal resize_inode dir_index filetype needs_recovery sparse_super large_file
Default directory hash: tea
何か判りますか?
0858sage
2012/06/15(金) 12:10:49.48ID:gAV/lq3N>>853
/bin/rm -r /の結果を見せて!
とか書いたらほんとにやりそう。
0859login:Penguin
2012/06/15(金) 12:13:02.19ID:cF2L7SVl0860login:Penguin
2012/06/15(金) 12:16:24.21ID:xmmMVJnwrm: it is dangerous to operate recursively on `/'
rm: use --no-preserve-root to override this failsafe
こうですか?
0861login:Penguin
2012/06/15(金) 16:01:02.04ID:MqQJgtCz今日それで冷や汗書いたよ。
rmは恐ろしく、強力なツールだと再認識
0862login:Penguin
2012/06/15(金) 16:01:57.09ID:MqQJgtCzこれがいいんじゃない?
0863login:Penguin
2012/06/15(金) 16:41:45.49ID:IihlBhKxああ、在日の方でしたね
0864login:Penguin
2012/06/15(金) 17:18:30.76ID:DOzDLpngデータはどういうふうに使ってるの?
読み出しのみ?書き込みあり?
それぞれのファイルの寿命はどの程度?
メールサーバって書いてあったけど、
単にpostfix動かしてますってメールハブとは違うんだよね?
0865login:Penguin
2012/06/15(金) 20:05:38.95ID:etFWwJqYあまりに具体的な話をすると問題になっちゃうので、
某社開発のメールシステムとだけ答えておきます。
前に書いたEXT3のファイルシステムにユーザ毎のメール
フォルダーが1ユーザ/1ディレクトリの単位で入ってます。
このディレクトリ内のメールデータをホニャララのライブラリーを
使って、別のアプリにホニャララして、各ユーザーのPCにメールが
ホニャララされます。
このデータ処理中に10MB/sec程度の書き込みが運用中には
常時発生していて、ユーザアクセスが多いとCPU負荷が上がり、
処理が止まってしまうという障害が起きてます。
ddで書き込み試験を行うと120〜130MB/secぐらい
(oflag=direct)で出ているので、書き込みには余裕が
あると思ってますが、某社からはHDDの速度が遅いのが
原因と言われて改善を求められてます。導入した
数年前とデータ量もあんまり変わっていないしね。困ったな・・
という状況です。
0866login:Penguin
2012/06/15(金) 20:08:17.35ID:OdpSy71V話を聞いていると別のとこに問題があるように感じるんだが……
0867login:Penguin
2012/06/15(金) 20:26:03.24ID:ZzxIPBRFiostat -xの値は?
0868login:Penguin
2012/06/15(金) 20:43:36.17ID:ZzxIPBRF・過去にメール爆弾をやらかしてディレクトリエントリが肥大化したまま
・うっかりln -s . hogeみたいなリンクを作ってしまって、ほにゃららが混乱している
でもあれこれイスパーするよりoprofileやftraceで特定するのが簡単で確実。
0869デムパゆんゆんネトウヨ特攻兵@6月 鉄砲百合 【関電 64.1 %】
2012/06/16(土) 00:37:56.82ID:VAj81kZb>使って、別のアプリにホニャララして、
ライブラリのバグで暴走中なんじゃねの
0870login:Penguin
2012/06/16(土) 01:50:40.08ID:k68BsoY7> ああ、在日の方でしたね
在日日本人ですか?それとも在日アメリカ人ですか?
「在日」としか書かない奴のB層の知能は知れてるよね。
0871login:Penguin
2012/06/16(土) 01:57:29.42ID:QtTxMqqDEnglish is OK?
0872login:Penguin
2012/06/16(土) 03:37:03.37ID:d/seGET+くだらねえ所にしか突っ込めないアホだwwwwwwwwww
0873login:Penguin
2012/06/16(土) 10:36:31.39ID:buYLXX0r簡単に調べられるからやるべき。
0874login:Penguin
2012/06/16(土) 23:48:42.49ID:3mlUjrH5>>463の記事を読んで、データ置き場をXFSにしたんだ。
これでデフラグする必要がほぼ無くなってハッピーさ。
0875login:Penguin
2012/06/17(日) 21:40:22.91ID:Mw2oNRGdぶっ壊れたときとか誤って削除してしまったときに簡単に直せる方が嬉しいね
0876login:Penguin
2012/06/18(月) 01:41:22.05ID:oZmhFfRK基本的にLFS系しかないな
0877login:Penguin
2012/06/19(火) 03:22:25.70ID:P5qrl8Zf面白いベンチマークデータ。
CentOS5より6の方がSSDの性能を生かせるみたいだな。ext4利用は必須。
http://hesonogoma.com/SSD/Silicon-Power_SSD-T10-128GB_Benchmark.html
0878login:Penguin
2012/06/19(火) 06:56:32.28ID:Fg6cF6bR0879login:Penguin
2012/06/19(火) 19:41:26.33ID:9qXPq/xlなんでext2がないんだ
0880login:Penguin
2012/06/19(火) 20:04:19.49ID:dXMZnUjp結局、画像ファイル名から数文字とったディレクトリを大量に作って対応することになりました。
.htaccessでリダイレクトする方法や、CDNでの対応や、
ここで教えてもらったデータベースでの管理など検討しましたが、
多少のphp書き換えで対応できるという手間の少なさから上記の方法になりました。
相談に乗っていただいた方、ありがとうございました。
0881login:Penguin
2012/06/19(火) 20:06:43.58ID:4H7kxi1uベンチマークの数値自体は5より6が優位なようにはみえないし、
discardオプションの有無を数値として検証してないし、
検証記事としてはひどい部類じゃね?
0882login:Penguin
2012/06/20(水) 01:25:34.68ID:KohzvN+Jbonnie++のグラフがあるな
block input、block output、randamの3つでオオヨソの性能は分かるよ
これ見るとやっぱりCent6のext4が性能いいんじゃね?
ちなみにこの記事書いた中の人はTRIMを有効にしようって言ってるけど
CentOS5と6の性能差の話にはふれてないよね
0883login:Penguin
2012/06/20(水) 02:46:33.10ID:bzl7Ow+30884login:Penguin
2012/06/20(水) 10:11:44.15ID:klr5J2UKまあ一般ユーザーが今のNTFSみたいに使えるようになるのは2018年頃になりそうだが
0885login:Penguin
2012/06/20(水) 10:56:45.32ID:tSSpL/mp早くLinuxで使えるようになってくれないかな
0886login:Penguin
2012/06/20(水) 11:03:11.61ID:8Nbpf+NV0887login:Penguin
2012/06/20(水) 11:07:19.57ID:DLIhrxAe個人的にはntfs-3g程度でも十分満足してるけど
やっぱり公開されるといろいろ使えない機能が使えるようになったり速度が向上したりするのかね。
0888878
2012/06/20(水) 11:42:11.50ID:3akCHBOa早速入れてみたが、あっさり動いてしまった。
Poolが壊れたり、動作が遅くなったり楽しいイベントを覚悟してたが、
拍子抜け。
0889login:Penguin
2012/06/20(水) 12:14:51.54ID:Q4WokbHX俺も。
強いて言えば、ファイルシステムが妙になった時にWindowsに繋ぎ直してcheckdiskをかけないといけないのが不便かな。
もともと暗号化、圧縮とか使ってないからかな。
0890login:Penguin
2012/06/21(木) 10:21:57.52ID:TvPdkXz8CrystalDiskMarkは簡単にディスクベンチをとれるいいソフトだと思うけどな
でもこれがディスク性能の全てではないことを理解して使うことが大事
linux用にはこれぐらいお手軽なディスクベンチはない・・・かな?
0891878
2012/06/21(木) 11:19:33.62ID:g23nZkEF0892login:Penguin
2012/06/21(木) 15:38:34.62ID:u8QHq9Zh0893login:Penguin
2012/06/21(木) 16:25:35.59ID:jSo3bVTw0894login:Penguin
2012/06/21(木) 16:30:06.81ID:8pFOzAECググッたけどわからんかった
「おひたやし過ぎ」て標準語でいうと何?
0895login:Penguin
2012/06/21(木) 16:56:36.64ID:a8n1M8fS0896login:Penguin
2012/06/21(木) 17:29:18.46ID:m+fCfgbMお人好しのtypoっぽく見える希ガス
0897login:Penguin
2012/06/21(木) 17:32:50.42ID:8pFOzAEC納得。俺の考え方がおかしかったのか
0898login:Penguin
2012/06/21(木) 17:47:00.75ID:GMdHcy4d「おひたやし過ぎ」のtypo、「シーケンシャルアイオー性能」という表記にほっこりした。
書き込みの内容は同意できるけどな。
0899login:Penguin
2012/06/21(木) 17:51:15.82ID:x7FjbOaz0900login:Penguin
2012/06/21(木) 19:40:36.31ID:kVe4hlpK0901login:Penguin
2012/06/22(金) 05:22:01.52ID:5OA7qz3P0902login:Penguin
2012/06/22(金) 15:41:18.41ID:iovprikBttp://smackerelofopinion.blogspot.jp/2012/06/intel-ssd-520-goodness.html
> Ubuntu環境にIntel製SSD(SSD 520)を投入したことで
> 得られた性能向上をまとめたblog記事。全体として
> どれぐらい快適になるのか,また,IOスケジューラごとに
> どれぐらいの性能差があるのか,そして,
> どうやってベンチマークを取るのがいいのか,といったことが分かります。
> SSDを導入しようとしている方は目を通してみると良さそうです。
ttp://gihyo.jp/admin/clip/01/ubuntu-topics/201206/22?skip
0903login:Penguin
2012/06/23(土) 02:48:50.28ID:/4QGuDAadd使って「シーケンシャルアイオー性能」をはかって
これはディスクの性能が悪いですねーとか言うだけで
お客から重宝されたもんだけどな
いまは最低でもbonnie++やfioとか使わないと素人扱いされる。。。
0904login:Penguin
2012/06/23(土) 03:43:46.95ID:n6GFdcpK0905login:Penguin
2012/06/23(土) 04:18:54.92ID:1h19rB5U0906login:Penguin
2012/06/23(土) 09:55:56.71ID:aqqIa2bWLinuxでのファイル名長問題だけど、UDFをHDD等で回避は可能か?
0907login:Penguin
2012/06/23(土) 12:40:57.43ID:VJ7n2kUB0908login:Penguin
2012/06/23(土) 12:43:35.38ID:fPqR1fTW0909login:Penguin
2012/06/23(土) 15:19:44.59ID:2Y/6W5fpそんだけ長いとメモをファイル名にしてライフハックとかドヤ顔するのが出てきそうだな
>>906
loopbackすりゃいけるんでないかい
0910login:Penguin
2012/06/23(土) 16:38:46.78ID:FmTOq4ex0911login:Penguin
2012/06/25(月) 03:01:46.75ID:mfYH3asi0912login:Penguin
2012/06/25(月) 06:35:32.54ID:dNNkodTQ0913login:Penguin
2012/06/25(月) 06:48:45.27ID:7jwMAcrg0914login:Penguin
2012/06/25(月) 10:13:48.02ID:ejuo5SJJ0915login:Penguin
2012/06/26(火) 02:30:04.16ID:ZeLs6RgM0916login:Penguin
2012/06/26(火) 05:23:20.71ID:BtSWE40K0917login:Penguin
2012/06/26(火) 13:25:46.43ID:wKxMdGLe0918login:Penguin
2012/06/26(火) 13:37:48.84ID:h5jBn9y6・プロセスのフォークが再帰し始めて鯖落とした
・ファイルをオープンしすぎて(閉じてなくて)サービスの一部が停止しちゃった
・/に大きなファイルを展開してしまってパーティションを超えて?ぶっこわれた(←遊びのサーバだったので詳細は不明)
0919login:Penguin
2012/06/26(火) 14:13:12.04ID:pnMrBHmE0920login:Penguin
2012/06/26(火) 16:37:36.25ID:0MbUp60Yスナップショットだろうとログだろうとアホが消そうと思ったら消せる。
0921login:Penguin
2012/06/26(火) 16:52:22.04ID:zB/c5SlOhttp://headlines.yahoo.co.jp/hl?a=20120626-00000006-inet-sci
0922login:Penguin
2012/06/26(火) 20:16:46.41ID:d8TSAa0o再現不可能なまでに壊すってすごくね?w
0923login:Penguin
2012/06/26(火) 20:41:09.86ID:0MbUp60Y称していたとさ。全部マウントして rm -rf / でもやったのか?
0924login:Penguin
2012/06/26(火) 20:56:04.75ID:CCy4nu4Bマジか!?それをバックアップと呼ぶように決めたヤツは死ねばいいのにw
サーバー借りる時は物理構成出せって言わんといかんな
0925login:Penguin
2012/06/26(火) 22:05:05.10ID:bhs3lwjJいまさらそんなこと言い出せないから消えたと言い張ってる
安かろう悪かろうでおまけに嘘つきの最低サービスだよね
安いからって理由で選ぶと結局ろくなことにならない
これに懲りたらNILFS使ってていつでも任意の時点に戻してくれるレン鯖にしようね
そんなレン鯖はまだないけどさ
0926login:Penguin
2012/06/26(火) 22:07:12.96ID:0MbUp60Yネタじゃなかった頭が悪すぎる。
0927login:Penguin
2012/06/26(火) 22:18:13.22ID:bhs3lwjJ■世間と違った「バックアップ」の概念
なぜ、外部にバックアップをとっておかなかったのか。ネット上では技術者を中心に、この点が指弾された。
これについてファーストサーバの村竹室長は、こう話す。
「おっしゃっているような一般的なバックアップというのは、我々のような低価格の料金で提供するのは難しい。
サーバー内の別のディスクでとることを、我々はバックアップと考えています」
ファーストサーバの主力であり、複数の顧客企業でサーバーを共有するサービス「ビズ2」の料金体系は、
月額1890円からと低価格が売り。データ容量が180ギガバイト(GB)と大きいプランでも月額5250円。
そのツケが、業者側でのデータ完全消失だった。
バックアップの構造は、共有サーバーより高価な、専用サーバーサービスでも同じだ。
0928login:Penguin
2012/06/26(火) 22:22:08.15ID:1r+YEn/w0929login:Penguin
2012/06/26(火) 22:23:46.26ID:bhs3lwjJ「さらに人為的なデータ損失があった場合にそなえ、
日に1回、外部サーバーにデータを保存していますので、
お客様によるデータの誤消去があった場合にも、前日の状態に戻すことが可能です」――。
今回はファーストサーバによる「人為的な誤消去」。
しかし実際は、バックアップは「外部サーバー」ではなく、
「同一のサーバー内の別ディスク」にあり、
完全なデータ消失に至ってしまった。
この点についてファーストサーバの村竹室長は
「数年前までは記述の通りだったが、現在は説明の通り異なる。
記述ミスで、修正をせずにいた可能性がある」と語った。
ファーストサーバによる「ビズ2」のパンフレット。
「日に1回、外部にデータを保存」との記述は事実でなかった
0930login:Penguin
2012/06/26(火) 22:26:32.28ID:V3N+QPAGこの言い訳、怪しくね
0931login:Penguin
2012/06/26(火) 22:29:12.53ID:uBrIb4o6という戯言だろう。
常識的なバックアップは存在しないはず。
0932login:Penguin
2012/06/26(火) 22:30:52.75ID:NlBz2PAo0933login:Penguin
2012/06/26(火) 22:31:25.90ID:hv08QCiqちゃんとしたバックアップ手法を取ってればそんなに問題じゃないと思うんだけどな
もちろん人為的なミスを防いだり火災とかの災害に備えて前者の方が良いんだろうけど。
0934login:Penguin
2012/06/26(火) 22:33:16.08ID:hv08QCiq「もしかしてRAIDをバックアップって主張してる?…まさかそんな訳ないよなアハハ」
って思ったけどな。
0935login:Penguin
2012/06/26(火) 22:37:44.03ID:bhs3lwjJ実際はそんなバックアップ処理をしてなかったんだから
これって完全に詐欺だよね・・・
ていうか、実際はバックアップなんて取ってなかったんだろ?
警察が捜索に入る前に正直にゲロしちゃえよ、なぁ、ヤフーさんよ
0936login:Penguin
2012/06/26(火) 22:52:04.97ID:nS6JLfLnよしんば出来てもインターネット介してDBの中身をバックアップって
容量的にも帯域的にもセキュリティ的にもどうなんよ?w
んなもん、データーセンター側でやってくれよ
Yahoo!のシャチョさんハゲが留意してたのに役員も辞めたのはコレの客集めに嫌気がさしてたからなのかね?w
0937login:Penguin
2012/06/26(火) 23:13:39.93ID:pnMrBHmE0938login:Penguin
2012/06/26(火) 23:16:44.38ID:jrGK29q50939login:Penguin
2012/06/26(火) 23:25:49.21ID:CoxLU8utやっぱバックアップは大事で物理的に別なものにとっておかなきゃね
安かろう悪かろう
って教訓になったんじゃない?
バックアップが一瞬で終わるFSマダー
0940login:Penguin
2012/06/26(火) 23:55:46.04ID:BtSWE40K0941login:Penguin
2012/06/27(水) 01:28:20.61ID:VzQGW28xサーバ内でRAID1組んで、それを「待機系」と呼んでるっぽいな
mdraidかな?
ZFSでRAID組んでいたら、このスレも大いに盛り上がったのにね
0942login:Penguin
2012/06/27(水) 06:57:05.05ID:0C77uiAWrsyncじゃないかなぁ?
0943login:Penguin
2012/06/27(水) 09:06:46.12ID:RsySlGsK0944login:Penguin
2012/06/27(水) 10:32:50.95ID:A7aUrA0xどこ?
0945login:Penguin
2012/06/27(水) 11:10:27.76ID:FdufcWbx多分,
http://kohada.2ch.net/test/read.cgi/pcnews/1340290683/l50
【データ消失】レンタルサーバーの「ファーストサーバ」で大規模障害……メールデータなどが消失
や,
http://uni.2ch.net/test/read.cgi/newsplus/1340720946/l50
【IT】ヤフー子会社のファーストサーバ「データは復旧不可能」「賠償は顧客が支払った総額を限度」★7
のことではないかな.
0946login:Penguin
2012/06/27(水) 16:06:35.26ID:SqRgjTL2http://cloud-news.sakura.ad.jp/wp-content/uploads/2012/06/storagehoukoku20120625a.pdf
0947login:Penguin
2012/06/27(水) 20:10:50.09ID:iZVmDv4W0948login:Penguin
2012/06/27(水) 23:00:39.74ID:rVuLYpUW0949login:Penguin
2012/06/27(水) 23:04:23.48ID:5wQ1fzWo「クローン、スナップショット機能はコピー機能で置き換えた」だってさ
結局オラクルさんのZFSアプライアンスはあきらめて、
他のモダンなFSやストレージ製品の人柱にもならず
旧来の安心できるところに回帰するってことだね
詐欺まがいのヤフー子会社の対応に比べたら100倍好感持てる
0950login:Penguin
2012/06/27(水) 23:29:20.99ID:QqrwoyrL早々にサジ投げて挙げ句にフォーマットして顧客に再提供してるあたり、証拠隠滅だろうな。
レス数が950を超えています。1000を超えると書き込みができなくなります。