Linux iSCSI 友の会
■ このスレッドは過去ログ倉庫に格納されています
0001login:Penguin
2007/09/14(金) 15:13:49ID:+fo3Eq3tFreeNASよりも高速、クラスタ対応のファイルシステムを使えば共有も可能。
NFSよりも圧倒的に高速です。
The iSCSI Enterprise Target Project
http://iscsitarget.sourceforge.net/
0425login:Penguin
2009/06/18(木) 06:49:28ID:SVvaKw60ローカルはディスクレス・・・
だけどGbE以上必須になるだろうし、Winは起動もファイルシステムも厳しい('A`)
0426login:Penguin
2009/06/18(木) 10:15:33ID:QfhrprKq0427login:Penguin
2009/07/10(金) 13:52:23ID:wMuS9JQCiSCSIストレージをDASのように単体サーバのみへの接続で使用する場合、
iSCSI@1Gポートx3なバスはUltra320SCSIバスの代替えになりますでしょうか?
EquallogicPS5000VX検討中なんですが、Dellの営業担当者の
歯切れが異様に悪いです。単体だと全然性能でないとか、なんか問題あるんでしょうか?
データはサーバ上のPhotoshop画像データ動画の編集や3Dレンダリング用途がメインです。
クライアントは普通にGbのワークステーションが40台くらいで接続です。
0428login:Penguin
2009/07/10(金) 20:05:00ID:AEUURNrT0429login:Penguin
2009/07/10(金) 20:08:25ID:gv6mFvuVゆとり乙
0430login:Penguin
2009/07/11(土) 13:39:18ID:0ACm/dO6ランダムアクセスだとGbEx3 で十分すぎる感じ。
心配なら PS6500 にするか、10Gのが出るのを待つか。
PS4000 で十分じゃないかって気がするけど。
0431login:Penguin
2009/07/11(土) 19:35:30ID:sFdjIgdy16Tで100万以内くらいになれば即買うんだけどなぁ
>>427
DELLがEqualLogicを買ったわけだけど、今のところは「EqualLogic事業部」になってて
製造・セールス・サポート等全て鯖部署と別だという話だった。
なので、鯖部署に聞いても情報持ってないオチ。
何年かかけて統合だそうで。
0432427
2009/07/19(日) 07:26:55ID:xI+IEfZ3アク規制でレスが(ryでしたm_ _m
>ランダムアクセスだとGbEx3 で十分すぎる感じ。
結果報告ですが、PS5000XVx2にしました。6Gbpsあれば当面は十二分です。
ちなみに、もう少しするとPS6000系は10Gbpsコントローラがでるそうで、
更に少し間をおいてPS5000系でも使えるようになるとの事でした…あと10年戦える。
>16Tで100万以内くらいになれば即買うんだけどなぁ
私なら、SAS15kx16で1x0万くらいのキャンペーンなら即買います。
10Gbpsコントローラで将来の帯域も安堵されたりしたら
2台目以降、標準価格への特例割引で2x0万であっても
買っておいて損はないと判断しました。
0433login:Penguin
2009/07/19(日) 07:31:21ID:xI+IEfZ3ぁぁああ、なんか近くでそんなお話を聞いたことがwwww
0434login:Penguin
2009/08/19(水) 17:26:07ID:c1hIae3lEqualLogiciいいなあ。
うちは金がないからMD3000iさ。ファイルサーバーと軽めのVMメインだからそんなに問題ないけど。
0435login:Penguin
2009/08/21(金) 06:25:02ID:NCboOpgc0436login:Penguin
2009/08/25(火) 13:21:25ID:s/g+LA/b0437login:Penguin
2009/08/27(木) 21:19:25ID:B8RLVv9X0438login:Penguin
2009/08/27(木) 21:34:34ID:5I7Zy1ic0439login:Penguin
2009/08/28(金) 09:21:01ID:VfPf8aBA0440login:Penguin
2009/08/28(金) 23:30:21ID:JlBV/NE80441login:Penguin
2009/08/29(土) 00:57:07ID:Eiy6GSGw結果all rightだが。。
0442login:Penguin
2009/09/05(土) 18:44:46ID:+v3cGFADiSCSI Enterprise Target使うのが普通なのかな?
0443login:Penguin
2009/09/05(土) 21:49:38ID:z3HRCwUR0444login:Penguin
2009/09/06(日) 08:10:58ID:coYB01oA起動出来ないイニシエータは出来るけど。
0445login:Penguin
2009/10/07(水) 00:57:26ID:N8PvBtWPhttp://sourceforge.net/projects/iscsitarget/files/
0446login:Penguin
2009/10/07(水) 01:48:49ID:HYyFfSO40447login:Penguin
2009/10/07(水) 06:58:07ID:A/Sbe5Wo0448login:Penguin
2009/10/07(水) 11:35:56ID:HYyFfSO40449login:Penguin
2009/10/07(水) 13:09:10ID:HjsTrvmjFreeBSDのiSCSIはFreeNASのiSCSI対応だとか、Solarisのように
ZFSとiSCSIとの連動とかで、それなりに盛り上がっているのに。
0450login:Penguin
2009/10/07(水) 15:12:47ID:PQV9Z7uO俺もFreeNASとかSolarisは弄ったけど、Linuxはやる気しない。
って、スレ違いか。
0451login:Penguin
2009/10/07(水) 18:48:26ID:3lUx5WNeOpenFilerというiSCSIのターゲットになれるNASアプライアンスな
ディストロがあるけど、たしかにあまり話題に上らない。
俺も一度ダウンロードしてみたけど、仮想マシンでターゲットを作ったら満足してしまった。
個人的にはDebianベースで似たようなのないかな〜と思ってるんだけど。
0452login:Penguin
2009/10/07(水) 19:43:25ID:4pJ2lphP必要なときだけNASを立ち上げNFSでつなげている
個人でどのようにiSCSIを有効活用しているのか教えて欲しい
0453login:Penguin
2009/10/07(水) 21:34:02ID:LDxMp8oU接続したHDDをiSCSIで開放
他の子鯖がiSCSIbootで起動
Windows含め、ディスクレスクライアント化
vmwareとかだと、hddをイメージファイル化するけど、
仮想マシン使わずに、リアルマシンでイメージファイル化したhddが使える
0454login:Penguin
2009/10/08(木) 11:56:00ID:ZGDk7ba9PCのケースを変えたらスロットの位置関係で使ってたRAIDカードが入らなくなってしまった。
仕方なく別のPCにそのRAIDカードを挿し、
そっちをiSCSIターゲットにして iSCSI経由で接続することにした。
こりゃ便利。
同じようなパターンで、家の中に一台だけ大きいのがあれば
他の小型orノートPCで簡単に大容量ストレージが使用可能になるってのは
個人レベルでも大きなメリットになるのでは。
設置コストが安いしWinからでも使えるし。
0455login:Penguin
2009/10/08(木) 12:05:44ID:vwJMLS+GサーバがLinuxに7200rpmの1.5Tx4でRAID5、クライアントがWin7RTMだけど
クライアントから見たディスクの速度はほぼローカルディスク単発程度。
可もなく不可もなく。
0456login:Penguin
2009/10/08(木) 12:21:33ID:8pajwaJHギガイーサとコアオンリーなdebianにietdのみのサーバーなら結構いけるけどな。
0457login:Penguin
2009/10/08(木) 12:22:07ID:8R1jQwj5それ以上望むなら10GbEかFCかな
体感ではターゲット側のキャッシュの量でシークタイムが結構相殺されるので
HDD単発を直接繋ぐよりはいいと思うけど。
0458login:Penguin
2009/10/08(木) 14:03:31ID:bUNj30dfクラスタの共有ディスクに使ってる。
検証環境作る時には非常に便利。
SANは高くて買えないし、NASはSCSI Diskとして認識しないので使えない。
0459login:Penguin
2009/10/08(木) 14:04:42ID:fz30u8ssそこそこ安くなりつつあるInfinibandのがいいんじゃないかな。
ターゲット1台にイニシエータ2〜4台位なら、スイッチレス
で構成すれば高いスイッチ買わないで済む。
>>446 にある、IETでiSERだけど、サポートはされている
みたいだけど実際にやったことはない。
0460login:Penguin
2009/10/08(木) 15:04:56ID:G9xFT93XiSCSIutilというのでNIC firmwareを書き換えると、tftp、DHCPを用意しなくても
直接パラメータ指定で iSCSI boot可能って書いてあった
またどうせiSCSI化するなら、使わなくなった100MBのHUBもあるので
OnBoard NIC = internet 接続 (100MB) / Intel NIC = iSCSI用 (GB)
に分離しようかなと思い調査中
これは今NFSでも同時に2台に転送するとGBの帯域を使い切ってしまい
ほかのPC等に影響を与えるため
0461login:Penguin
2009/10/08(木) 15:21:09ID:3X3opqH8それiBFTの設定だよ。
http://www.microsoft.com/japan/whdc/system/platform/firmware/ibft.mspx
0462login:Penguin
2009/10/08(木) 17:38:16ID:/y2CvV6GTargetPC Seq.R Seq.W Ran.Sk Seq.Cre Ran.Cre
Pentium4 630/512MB 33840 22642 110 310 282
Opteron 2376×2/8GB 96621 98760 11550 22978 23062
項目は
TargetPC - ターゲットに使用してるPCのCPUとRAM
Seq.R ---- Sequential Output(block) 単位: K/sec
Seq.W ---- Sequential Input(block) 単位: K/sec
Ran.Sk --- Random Seek 単位: /sec
Seq.Cre -- Sequential Create 単位: /sec
Ran.Cre -- Random Create 単位: /sec
iSCSIターゲットはのドライバは ietd。
いずれもクライアント - ターゲット間の接続は GbEでクロスケーブル直結。
クライアント側は P4 3.0GHz/2GBなPC。
クライアント側PCもいくつか変えてみたけれど、ターゲット側ほどの大きな差は出なかった。
項目によってはモロに二桁違う結果が。つーことで、
ターゲット側のデバイスの能力によって天地ほども速度に差が出ることは分かったけれど、
速度に一番影響する要素って何でしょう?
CPU速度? CPUのコア数? メモリ量?
これ以上コマゴマと条件変えてテストするのも面倒w なんで、どこかに調査した文献とかないでしょうかね。
0463login:Penguin
2009/10/08(木) 17:44:46ID:/y2CvV6Gということで、ターゲット側の能力次第で速度はかなり変わる。
本当に「遅い」のかはいろいろ実験してみないとよく分からんと思う。
ターゲットPCローカルで取ったベンチマークより速い数字が出てしまったりw
つか、そもそもRAID5は速くないと思うが。
仕組みからして、特に書き込みは単体ドライブよりも遅くなるはず。
0464login:Penguin
2009/10/08(木) 19:39:21ID:FK4Oe6Rviet.confで、type= を fileio, blockio どっちにした?
fileio にすると、OSのバッファキャッシュのフラッシュの
影響を受けるのか、ベンチマーク値が安定せずに
それこそ測定の度に2桁位ふらふらした記憶がある。
0465login:Penguin
2009/10/10(土) 20:25:12ID:+Jwo1/oB興味深いです
再度調査して報告していただけると嬉しいです
0466login:Penguin
2009/10/10(土) 22:47:17ID:q9tms2BH0467login:Penguin
2009/10/11(日) 08:07:09ID:QfEOf+JTベンチマークのためにキャッシュ切ってどうするww
fileioで安定しないのは、OSのファイルキャッシュ使うからだよ
0468login:Penguin
2009/10/11(日) 20:51:31ID:9+tePb7m0469login:Penguin
2009/10/12(月) 00:28:25ID:EpF7h3p5速くなったんだけど、どうなんだろうな。
メモリ多めに積んだからキャッシュがよく効いただけかも
0470login:Penguin
2009/10/12(月) 11:05:26ID:p+L4egqf逆だろ
デフォがblockio
キャッシュ使うfileioが遅いって言うならメモリ買え
0471login:Penguin
2009/10/12(月) 16:13:02ID:/5O7rsxxそもそもMPIO不可のiSCSIターゲットなんてあんの?
MC/Sなら対応してないのは多いけど。
0472login:Penguin
2009/10/12(月) 19:51:26ID:3dsgjc6H0473login:Penguin
2009/10/14(水) 22:14:02ID:CDgM3BwZまだまだ遅いですね。
0474login:Penguin
2009/10/14(水) 22:28:26ID:vmv5MAGQinfinibandはスイッチが必須じゃない?
subnet managerが存在するスイッチネットワークが必要だと思った
でもIBスイッチ安いよ。10GEより全然コスパいい
ちなみにiSERはメモリにアクセスしてるうちは速い
前試したときは500MBpsは出てた
リード、ライトともにね
0475login:Penguin
2009/10/16(金) 00:58:51ID:mQNvovOUOpenIBに含まれるopensmを起動しておけばOK。
switchless infinibandでぐぐると幾つか出てくるよ。
現状は低遅延広帯域ネットワークはInfinibandがベストだね。
CEEが複数ベンダから安いアダプタとスイッチが出てくるようなら、
将来は次点になるかもしれないけど、ちょっと難しそう。
0476login:Penguin
2009/10/16(金) 11:28:38ID:f/BQ9Mf5スイッチレスで組めるんだ
知らなかったよ、ありがとう
RDMAoCEEが動くようになれば10GEて選択も出てくるね
RDMAエンジン搭載のCEE NICがまだ無いけど
でもTCPベースのiSCSIにも言えることだけど、
キャッシュ同期が取れる冗長が組めないと
危なくてテンポラリな空間にしか使えないよね
商用はそこ解決してるわけだけどさ
0477login:Penguin
2009/10/17(土) 02:43:55ID:j9nQlXrE超ハイエンドかと思ったが、いつの間にか部署内のサーバ間接続用なんかに
ちょっとした経費で買えそうな位まで安くなってるので驚いた
とりあえずスイッチレスで試すのに2枚買ってみようかな
iSERってiSCSIとワイヤレベルでのプロトコルが違うんだよね?
ターゲットもイニシエータも対応した奴を用意しないとパフォーマンスが出る出ない
以前に通信できないってことでおk?
0478login:Penguin
2009/10/17(土) 08:54:07ID:E2DiCTRI> ターゲットもイニシエータも対応した奴を用意しないとパフォーマンスが出る出ない
> 以前に通信できないってことでおk?
Yes、TCPは使わないです
リモートホストのメモリに直接アクセス(RDMA)するんだけど、
RDMAのRead/WriteがSCSIのRead/Writeに相当する
iSERに対応してるのは今のところ、LinuxとOpenSolarisくらいかなあ
けどiSER評価するなら、NFS/RDMA使ったほうがいいかもよ?
そろそろLinux版がGAになるし、一番簡単
RDMA使ったストレージアクセスって、iSERもSRPもNFS/RDMAも
大してパフォーマンス変わらないもの
あと、日本語ドキュメントが皆無だから頑張ってね
How toだけなら公式wikiとかバンドルされてるドキュメントで何とかなると思う
IBの日本人エンジニアなんてほんとレアだしさ
FCと同じで案件(金)が絡まないと情報出てこないのよ
0479login:Penguin
2009/10/17(土) 10:32:48ID:rx/kYc3S「試しに買ってやってみるか」にはならないんだよな
FCなら、繋いで、インターフェースのBOOTROMで設定すれば、
あとは/dev/sd?で見えるようになって使えると思ったけど。
0480login:Penguin
2009/10/17(土) 10:57:04ID:29d+cIdh入札出来るベンダも限られるし
飯のタネのノウハウは漏らさないだろうね
でもオープンな情報も多いから
英語読む気があれば色々ためせるよ
スレの本スジから外れてきちゃったね
他に行くところも無いんだけど
0481login:Penguin
2009/10/17(土) 22:51:09ID:qYCt/TXA情報が分断する気もするけど、
iSCSIとは直接関係ないしw
0482login:Penguin
2009/10/17(土) 23:20:03ID:9cTcAdGM普通のPC、またはサーバ用のOS(?)で、
そのインストールしたPCをiSCSI用のストレージとして
認識させることの出来る奴の名称、誰か知ってたら教えてくださいorz
先月くらいにちょろっと見て、後で検証してみようと思ったんだが、
名前ど忘れ+ググっても出てこないorz
0483login:Penguin
2009/10/17(土) 23:21:05ID:qYCt/TXA>>1 ?
0484login:Penguin
2009/10/17(土) 23:31:30ID:9cTcAdGMありがとう。
確かにコレでも同じ事出来るな、どこ見てんだ俺はorz
でも名前が違ったような気がするんだよなぁ…
仕様見に行ったときもっとグラフィカルなサイトだった気がするし
とりあえず>>1を試してみる、ありがとう!
0485login:Penguin
2009/10/18(日) 00:00:23ID:/Qo2jBjROpenfilerかな?
ttp://pc11.2ch.net/test/read.cgi/mysv/1231469122/
0486login:Penguin
2009/10/18(日) 01:33:29ID:b+V3NSIx0487login:Penguin
2009/10/18(日) 03:21:13ID:DffD1WZEsstorageかな?
http://storage.isp.jp/
0488login:Penguin
2009/10/25(日) 15:33:40ID:qTGYyK7q0489login:Penguin
2009/10/25(日) 21:26:23ID:DdsJmjpm0490login:Penguin
2009/10/28(水) 20:15:47ID:/CZ6VZy00491login:Penguin
2009/10/28(水) 20:44:55ID:uXsj3Jvl問題はL2スイッチが直ぐには安くなりそうもないこと。
0492login:Penguin
2009/11/02(月) 16:35:14ID:KNufd3Mpノウハウ的にどこがおすすめ?
Intel,Broadcom,Chelsio,MallaoxあたりとBladeNetworksの
24portスイッチをつなげてみようかと思うんだけど。
0493login:Penguin
2009/11/02(月) 16:41:12ID:BWYuO9b/自分とこではChelsio買った部署があるな。
HPC屋が推してたらしい。
0494login:Penguin
2009/11/02(月) 17:56:11ID:KNufd3Mp39s。阿鼻叫喚はとりあえず聞こえてきていないということですね。
0495login:Penguin
2009/11/02(月) 21:01:05ID:BWYuO9b/いうことは無いんじゃない?
ただし、ToEはカード上で処理できるセッション数を超えた途端に
ホストCPU処理になってしまうため、用途によってはトラフィックごとに
アダプタを別けざるを得ず、ケーブリングでハマると聞いたことが
あるので、その辺は実際のワークロードをかけて幾つかの製品を
試したほうがいいと思う。
最近はCEEだ何だと言われる位なので、各社問題無くなってるのかも
しれないけど。
0496login:Penguin
2009/11/03(火) 18:20:41ID:hEI0AGsP0497login:Penguin
2009/11/03(火) 18:34:26ID:0lf5dDD8単に"o"にツッコミたかった?
0498login:Penguin
2009/11/03(火) 19:26:31ID:hEI0AGsP0499login:Penguin
2009/11/04(水) 19:33:51ID:pPw0VwW9http://bb.watch.impress.co.jp/docs/news/20091104_326288.html
0500login:Penguin
2009/11/05(木) 00:29:03ID:eTYM/A9Gこんな信頼性もパフォーマンスも無さそうなTargetの
使いどころが正直判らん。
VMwareとかHyper-Vとかのライブマイグレーションの練習用?
0501login:Penguin
2009/11/05(木) 08:59:28ID:8YM/bsDi練習だったら自分で組んだ方が早いわな。
0502login:Penguin
2009/11/05(木) 12:52:00ID:uAt1KcU0知らない人も世の中にはいるんだよw
いや、マジで。
0503login:Penguin
2009/11/06(金) 00:12:16ID:a7mq1JSiそんな人がVMwareとかHyper-Vでシステムを仮想化とか、無茶じゃないか?
一人でVMware Player使うとかいうのとはわけが違う。
0504login:Penguin
2009/11/06(金) 03:27:31ID:xbeOQXg2> そんな人がVMwareとかHyper-Vでシステムを仮想化とか、無茶じゃないか?
> 一人でVMware Player使うとかいうのとはわけが違う。
そんなに違うか?
所詮単なる道具だぜ?
0506login:Penguin
2009/11/06(金) 13:09:44ID:ER2qYO7r文章読解力がないようだが、>>502は>>500-501に対するresだ。
つまり「信頼性もパフォーマンスもなさそうなTarget」の存在意味。
仮想化云々はまったく関係ない。
iSCSIは従来のSCSI同様
専用のHBAと専用の機器の組み合わせで使うものだ
と思い込んでる人もいる、とゆー話。
# いや、某中古サーバ専門店の店員が。
# マジ驚いたよw
0507login:Penguin
2009/11/06(金) 20:56:28ID:TNWw1idW0508login:Penguin
2009/11/07(土) 13:51:56ID:y30cOxiX8GFCのスイッチとHBAの価格が4GFCと大して変わらんくらいまで落ちてきてんだよね
0509login:Penguin
2009/11/13(金) 11:39:49ID:N9FS5vq1別PC(XP)からSambaでファイル共有して同時に読み書きってできるのかな
0510login:Penguin
2009/11/13(金) 23:11:58ID:WRG9kpVKなので、iSCSIをマウントしたPC/鯖とsambaで共有すればいい。
0511login:Penguin
2009/11/13(金) 23:52:51ID:f6I0Q3Z0レスありがとうございます
この例はあぼーんするが
[PC1:Win7/NTFS] <---iSCSI---> [NAS鯖:Linux/EXT3] <---iSCSI---> [PC2:Win7/NTFS]
この例は大丈夫ってことですね
[PC1:Win7/NTFS] <---Samba--->
[PC3:XP/NTFS] <---Samba---> [NAS鯖:Linux/EXT3] <---iSCSI---> [PC2:Win7/NTFS]
[PC4:XP/NTFS] <---Samba--->
0512login:Penguin
2009/11/14(土) 00:21:38ID:+VAB2VbeiSCSIはブロックデバイス、sambaはファイルシステム
ブロックデバイス(HDD)を適当なファイルシステムでフォーマットして
sambaで共有させれば、結果的にiSCSIの中にあるファイルを共有したことになる。
iSCSIのイメージをsambaで共有しても、HDDイメージファイルを共有したことにしかならない。
0513login:Penguin
2009/11/14(土) 01:43:55ID:VYhG1dBUNAS鯖
・24h常時稼動
・iSCSI Target(物理ストレージ側)
・Sambaファイル共有サーバー
PC1〜4
・電源ON/OFFのある完全なクライアントPC
・iSCSI Initiator
・Windowsファイル共有クライアント(Windowsファイル共有サーバーの設定はせず)
他PCがマウント中のHDDイメージの中身を、NAS鯖自信ならば読み書きできると勘違いしました
あくまでHDDイメージなんですね
0514login:Penguin
2009/11/14(土) 01:49:18ID:VYhG1dBUNAS鯖内に複数の異なるHDDイメージを作成して、
それぞれマウントすればあぼーんすることはないが、
同一のHDDイメージをマウントするとあぼーんするわけですね
>>511の下の例では
PC2がマウント中のHDDイメージを、NAS鯖がマウントするとあぼーんするから、
PC2をWindowsファイル共有サーバーにする方法しかないと理解しました
経路も迂回するし、PC2が電源OFFの時は読み書きできずとうまくいかないもんですね
0515login:Penguin
2009/11/14(土) 02:28:02ID:BeeV1uH30516login:Penguin
2009/11/14(土) 11:14:06ID:uNeLWaHlWindowsでも一つくらいサポートしてもいいような
0517login:Penguin
2009/11/15(日) 15:16:24ID:ePzVhxKFiSCSIをサーバのどれかがNASになってNFS/SMBで共有するのは
どちらが性能いいのかな。Linuxのみで使うとして。
0518login:Penguin
2009/11/17(火) 06:14:39ID:a96ySKqKHDDイメージそのものはそれがおいてある物理HDD上で
コピーしたりすることはできるよね?
0519login:Penguin
2009/11/17(火) 06:45:30ID:Pxf5jnD2イメージの前半と後半でコピーした時間が違うなんてことになるぜ
>>517
ocfs2は、CPU負荷が高くなると、同期・調停信号が遅れて、
ファイル壊れるとか消えるとか色々変な事が起きる。
ので、smbで済むような用途ならsmbの方が良い。
タイムスタンプの精度が必要とか、
inodeの値まで揃える必要があるような場合だとocfs2
0520login:Penguin
2009/11/17(火) 19:05:11ID:1HFYnidhWindowsで使えるクラスタファイルシステムだとOCFSくらいじゃね?
0521login:Penguin
2009/11/18(水) 00:58:59ID:rJYbboFqlinuxのkernel-stageに /fs/dst つ〜ブロックデバイスのネットワークプロトコルが入ってた
nfsの替わりもあってpohmelfsというらしい
5年後に名前が残ってるかさえわからんが…
0522login:Penguin
2009/11/18(水) 07:54:19ID:FFt/LoHqそれがやりたい人はSolaris使ってZFS pool上にiSCSI targetを構築しましょう。
0523login:Penguin
2009/12/09(水) 13:10:23ID:9E8Tibsd0524login:Penguin
2009/12/09(水) 16:29:39ID:mfbKKGPQ■ このスレッドは過去ログ倉庫に格納されています