KVM(Kernel based Virtual Machine)を語れ
■ このスレッドは過去ログ倉庫に格納されています
0001login:Penguin
2009/10/03(土) 02:30:54ID:awdiEa2W語れ。
0395login:Penguin
2010/11/17(水) 19:07:52ID:azQyQe8+ttp://www.mail-archive.com/[email protected]/msg22304.html
0396login:Penguin
2010/11/17(水) 19:27:13ID:nQV3TztA皆さん良くご存知ですね。
私なんか全然駄目ですね。
qemu-nbdなんて知りませんでした。
0397login:Penguin
2010/11/17(水) 20:09:02ID:7rFQlVJPでも広げるのなら>>395 が良さそうですね
$ sudo qemu-nbd ./sid00.img -p 5555 &
$ sudo nbd-client localhost 5555 /dev/nbd1
Negotiation: ..size = 8388608KB
bs=1024, sz=8388608
$ sudo fdisk -l /dev/nbd1
GNU Fdisk 1.2.4
Copyright (C) 1998 - 2006 Free Software Foundation, Inc.
This program is free software, covered by the GNU General Public License.
This program is distributed in the hope that it will be useful,
but WITHOUT ANY WARRANTY; without even the implied warranty of
MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the
GNU General Public License for more details.
Disk /dev/nbd1: 8 GB, 8587192320 bytes
255 heads, 63 sectors/track, 1044 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Device Boot Start End Blocks Id System
/dev/nbd1p1 1 1044 8385898 83 Linux
$ sudo mount /dev/nbd1p1 /mnt
$ ls /mnt
bin boot cdrom dev etc home initrd.img initrd.img.old lib lib64 lost+found media mnt opt proc root sbin selinux srv sys tmp usr var vmlinuz vmlinuz.old
0398login:Penguin
2010/11/27(土) 12:38:14ID:zn+wyY2FずっとHDDのアクセスランプ光りっぱなしなのに、iostatで500KB/S以下って使い物にならないよ。。。
0399login:Penguin
2010/11/28(日) 04:14:59ID:LOQ6y0zyエイリアスとかじゃなく実際に違うファイルみたいだが
他にもqemu-system-x86_64とかもあるし訳わかんね
manはqemuだけあるみたいだが他のはどうなっての
0400login:Penguin
2010/12/05(日) 00:57:10ID:pZR7/fwoそしたら、最近見たらKVMの説明になってた。
0401login:Penguin
2010/12/05(日) 03:10:50ID:Hwa8KgBlさくらインターネット研究所
ttp://research.sakura.ad.jp/category/technology/linux-kvm/
0402login:Penguin
2010/12/06(月) 21:45:55ID:PAe/+xTc（デスクトップを表示してるだけ）でも TOPでみるとqemu-kvmのプロセスだけで200MHz
（Phenom２ 2.5GHzで）ほどを消費してるんだがなぜ？
0403402
2010/12/06(月) 21:55:32ID:PAe/+xTcたしかにIOPSなどは向上するんだけどその分CPU負荷がふえているように
見える。軽いドライバは何なの？
0404402
2010/12/06(月) 21:57:19ID:PAe/+xTc(正）確かにvirtioドライバはIOPSなどは向上するんだけど・・・・
0405login:Penguin
2010/12/07(火) 10:06:46ID:wAXM1sWGデバイスがダイレクトにゲストのメモリにアクセスするとかできるのかな？
それでもアドレス変換は必要だろうし、デバイス依存になってvirtioみたいに共通化出来なさそう。
0406login:Penguin
2010/12/07(火) 19:39:19ID:jVE69wyD問題視してるのはvirtio利用時のqemu-kvmの負荷？
ちょっと違う話かもだが、全く同じゲストOS環境(Linux*3,FreeBSD*2)での
ホストのCPU使用率をKVMとVMware Workstationで比較するとKVMは7%、
VMware Workstationは1.5%だった。この差は一体・・・。
0407login:Penguin
2010/12/07(火) 20:32:37ID:zPY5szU8どこかの性能でKVMが上で、その代わりCPU使ったとかもあり得るからややこしい。
0408login:Penguin
2010/12/07(火) 20:52:12ID:suIafptc仕事がらみでVMwareESXiと比較してるんだけど、ESXiにくらべて何もしてないときの
qemu-kvmプロセスのCPU負荷が重すぎる。topとVMwareのパフォーマンスGUIの
値を信用すると５倍くらいかな。もちろん同じハード（Opternのサーバ）での比較です。
0409login:Penguin
2010/12/07(火) 21:05:01ID:suIafptcディスクのIO性能をはかるためちゃんとvirtioを使ってやったんだけどだめだった。
何もしてないときも重いけど、IOを始めるとその差がもっと大きくなる。（クロック数で比較して）
ゲストがWindowsってのは想定外なのかな。これからゲストにRHEL6を入れてやってみる。
0410408＝402
2010/12/07(火) 21:10:02ID:suIafptc（誤）Phenom
（正）Opteron
0411login:Penguin
2010/12/07(火) 21:15:24ID:zPY5szU80412login:Penguin
2010/12/07(火) 23:45:13ID:BRSVsomfI/O負荷が高い場合kvm時折落ちるよ。
正直、Windowsゲストはまだ実運用に耐えるとは思えない。
0413login:Penguin
2010/12/08(水) 00:10:39ID:/eH/EGA5ext4の領域にvirtioのディスク４０Gをrawでとってる。うちのSANはぼろで４０Kiopsはでないので、ローカルに
４本のディスクでRAID0を作ってる。これでやればハードの限界の前にソフトの限界が簡単に出せる。
>>412
１年半ほど前は確かにホストまでおちたこともあったけど、今回は大丈夫でした。
そうですか、Windowsは想定外ですか。じゃ、ユーザ各社にKVMをつかったデスクトップ仮想化の検討を
始めましょうなんて言ったら首が飛びそうですね。VMwareでいこう。spiceをサポートするThinTerminalの
会社のめども立ってないようだし。
0414login:Penguin
2010/12/08(水) 00:42:54ID:/C0whQw+http://www.linux-kvm.com/content/red-hat-releases-spice-gtk-client
0415login:Penguin
2010/12/08(水) 03:07:54ID:/C0whQw+virsh だと
> $ virsh start vm0
> エラー: ドメイン vm0 の起動に失敗しました
> エラー: Unable to deny all devices for vm0: No such file or directory
virt-manager だと
> Traceback (most recent call last):
> File "/usr/share/virt-manager/virtManager/engine.py", line 814, in run_domain
> vm.startup()
> File "/usr/share/virt-manager/virtManager/domain.py", line 1296, in startup
> self._backend.create()
> File "/usr/lib/python2.6/dist-packages/libvirt.py", line 333, in create
> if ret == -1: raise libvirtError ('virDomainCreate() failed', dom=self)
> libvirtError: Unable to deny all devices for vm0: No such file or directory
こんな感じです
新しいマシンを作ろうとしても，ディスクイメージの作成後同じメッセージが吐かれます
原因が判る方はいらっしゃらないでしょうか
0416login:Penguin
2010/12/08(水) 21:47:02ID:fFaYLksv0417login:Penguin
2010/12/08(水) 23:23:06ID:6h+BSyXxKVMといい、SPICEといい、ネーミングセンスがないよな。
流行らせるつもりないのかな。
0418login:Penguin
2010/12/10(金) 00:09:14ID:Bfr8mPnZ正直Windowsのデスクトップ仮想化なんて、ライセンスフィーばかりかかって
良いこと無いと思う・・・ってMS自体が出しているレポートでも結論付けてたり。
http://virtualization.info/jp/news/2010/11/paper-vdi-tco-analysis-for-office-worker-environments.html
VDI以外でWindows Serverを動作させたいモチベーションって、ハードウェア1台を専用に
回すまでも無い、Active Directoryのバックアップ機とWSUSをまとめたいとか、
そういうのだよね？だとすると、正直、それ用に安い物理ハードウェア用意して、
（そいつではLinuxを諦めて）Hyper-Vでも選ぶほうが無難な気がする。
0419login:Penguin
2010/12/10(金) 14:47:29ID:CWfsKhi5木を隠すなら森の中・・・
いやきっと「このKVMが普及すればあのKVMなんて不要になるんだよ！」という
主張なのだと好意に考えてあげよう。ネーミングセンスがないのではなく。
0420login:Penguin
2010/12/10(金) 15:16:11ID:JPIxkAYo0421login:Penguin
2010/12/10(金) 17:48:10ID:Hgj+mF+jどうせraw使うんなら、
せめてLVMで切った40GBのボリュームをアサインしてあげなよ。
ホストのファイルシステムを経由するオーバーヘッドって
けっこー馬鹿にならんよ
0422login:Penguin
2010/12/10(金) 17:54:51ID:MWgNDiKFディスクイメージを通常ファイルとして扱える点も仮想化の便利なところなんだよな。
悩むぜ…
0423login:Penguin
2010/12/10(金) 21:07:12ID:HlZBWw/Nxpのインストールにだいぶ時間かかった。
残り時間の表示の倍くらい要したような気がするけど、
ext4上でntfsのせいなのか？
0424login:Penguin
2010/12/10(金) 21:11:05ID:zcD4tR4U> $ lsmod |grep kvm
でkvm module 出てくる?
出てこないならkvm 使わずに動いてすごく遅いはず
> $ aptitude search AQemu
> p aqemu - QEMU および KVM の Qt4 フロントエンド
ほう初めて知った
後で試してみよう
0425login:Penguin
2010/12/10(金) 21:39:29ID:HlZBWw/Nthx!
出てきてないわ。それで遅いのか。
0426login:Penguin
2010/12/10(金) 21:43:19ID:zcD4tR4Uintel の場合はkvm_intel AMD の場合はkvm_amd を読み込む
勿論CPU が対応してないと駄目
$ egrep '(vmx|svm)' /proc/cpuinfo
でintel だとvmx AMD だとsmv を含む行が出て来たら対応してると思う
CPU 対応しててもBIOS でoff になっていることが多いので注意
＃手元のマシン3台中3台ともoff だった
0427login:Penguin
2010/12/10(金) 21:47:27ID:ABcTIXulWindows以外のOSでデスクトップ仮想化するなんてあり得ないと思うんだけど。
Hyper-Vの新しいVDIインターフェースをサポートしてるシンクライアントはないから
VMwareにVMware ViewかHyper-VにCitrix ICAの組み合わせかな。
ただ、現行のHyper Vではメモリオーバーコミットができないんでクライアントの仮想化は無理かと。
>>421
本来はFC SANかiSCSI NASの方がいいんだが、うちの環境はぼろいのでハードウェアの限界で
比較できないと困るんでローカルストレージを使っただけ。仮想化本番でローカルストレージを
使うのは禁じ手でしょ。
当方の比較では Windows baremetal＞Xen＝HyperV＞VMware＞越えられない壁＞KVM with VirtIO
0428login:Penguin
2010/12/11(土) 21:52:12ID:gs94QFkX>427
ローカルでも潜るレイヤーが多い分、ファイルは最遅。ハードの限界で比較するって言うならせめてlvmとかじゃ無いの？
ま、windowsを仮想化したい人にKVMはないんじゃないかと。Linuxの仮想化にHyper-Vを勧めるようなもの。
0429login:Penguin
2010/12/12(日) 18:51:00ID:Sx7XNrzs詳しくありがとう。
biosの設定で使えるようにしてkvmにしてみたら、かなりスムーズになった。
AOEをやってみたんだが、qemuだと人数が増えてくると相当ぎくしゃくするが、
kvmだとまったくストレスを感じない。
0430login:Penguin
2010/12/12(日) 18:52:17ID:rKKKT/pQ0431415
2010/12/13(月) 01:21:29ID:nN486ECd/etc/libvirt 以下を退避して，
$ sudo aptitude reinstall libvirt-bin
して，退避した/etc/libvirt/qemu/*.xml をvirsh define したら使えるようになりました
0432login:Penguin
2010/12/13(月) 13:54:03ID:CMYOcFYuファイルシステムに置くと遅いって実際どれくらい遅くなんの？
extentとdirect ioに対応したファイルシステムならあまり気にするほどでもないのかと思ってた。
0433login:Penguin
2010/12/13(月) 18:52:45ID:hO8QJOC6http://www.phoronix.com/scan.php?page=article&item=linux_kvm_virtualbox4&num=1
0434login:Penguin
2010/12/13(月) 19:05:29ID:hO8QJOC6http://vrda.jpcert.or.jp/feed/ja/JVNiPedia_JVNDB-2010-002483_AD_1.html
2.6.36 で直ってるらしい
0435login:Penguin
2010/12/13(月) 20:46:04ID:yZbdNAcF比較すべき相手はとっても重いVirtualBoxなのかね。
あと、VirtualBoxで重いベンチを走らせると時計が狂って
とんでもないスコアを出すバグは直ってるのかね？
0436login:Penguin
2010/12/13(月) 21:09:05ID:IB2w3LdnVirtualBoxとだけでなく、Hostとも比較してる。
VirtualBoxの「ホストよりも高速なDiskIO」とかの辺りにはなかなか笑わせてもらったけど
VirtualBoxも決して全体的には悪い数字じゃなさそうだ。ただ、VirtualBoxは速度云々よりも
今後も開発が継続されるのかどうかの方が心配。Oracle...
0437login:Penguin
2010/12/14(火) 11:27:14ID:3eZmpwudDebian lennyでは問題なかったのですが、何が悪いのでしょうか？
SELinuxは無効にしています。
qemu-kvm -enable-kvm -hda vol.qcow2 -cdrom debian-507-amd64-businesscard.iso -boot d \
-m 1024 -smp 2 -vnc :0 -k ja -usb \
-net nic,model=virtio,macaddr=52:54:00:12:34:00 \
-net tap,ifname=tap0 \
-monitor telnet:localhost:49223,server,nowait \
-no-acpi
でインストーラーを起動しています。
パッケージの読み込みに時間が掛かり過ぎています。
0438login:Penguin
2010/12/14(火) 14:24:25ID:5wU7kSaFVirtualBoxはとんでもないスコアを出す以外にも、ホストOSの大変な負荷をかけて
動いている。KVMがホストの上で一つのゲストしか走らせないつもりならVirtualBox
と比較するのもわかるけど、狙いが違うと思ってるんだが。
0439login:Penguin
2010/12/24(金) 10:46:36ID:2Gtky6wEVirtIOの所為なのかな？ゲストLinuxでも重い
0440login:Penguin
2010/12/24(金) 16:20:14ID:iLW9Ccb6ゲストで”変に”重く感じるのなら、それはしらん
0441login:Penguin
2010/12/24(金) 18:05:01ID:2Gtky6wEちなみにマシンはGentoo(Kernel2.6.36-hardened)はX2-3800+、MEM4GBで別々のHDDにイメージを入れてます
CPU-Pinnigで別々のコアに1つずつ仮想マシン割り当てて2つ動かしてるけど重くて操作できない位
ホストのtopとゲストのtop見比べてるけど何が原因で重いか判らない・・・
特に怪しいログも出てないし・・
0442login:Penguin
2010/12/24(金) 18:08:47ID:2Gtky6wEtopに出ない怪しいプログラムでも動いてるのかと思ってゲストとホストでchkrootkit
回したけど何も出ないし、カーネルも色々試したけど変わらないし、もしかしたらCPUの限界？
0443login:Penguin
2010/12/27(月) 22:45:47ID:2xDxBbVxもしかしたらAthlonX2-3800+がAMD-Vに対応してなかったのかも
0444login:Penguin
2010/12/28(火) 01:25:56ID:FSHEKxsDamd だと
$ grep svm /proc/cpuinfo
が出てくれば多分対応cpu
$ lsmod | grep kvm
でkvm_amd が出てくれば読み込んでる
(qemu) info kvm
kvm support: enabled
でも確認できる
0445login:Penguin
2010/12/28(火) 13:36:58ID:ots/0mGe>amd だと
>$ grep svm /proc/cpuinfo
>が出てくれば多分対応cpu
出てきてたけどやったらめったら重たかった
ゲストCUIでも操作出来ない位
CPU交換したら滅茶苦茶軽くなったからやっぱなんかおかしかったのかも？
0446login:Penguin
2010/12/28(火) 13:40:15ID:ots/0mGe(qemu) info kvmは試してなかった
0447login:Penguin
2011/01/09(日) 13:41:30ID:7MxkoDNg0448login:Penguin
2011/01/26(水) 13:36:17ID:VV1Ndr4A今は各ノード＆ホストでmrtgを見ているんだけどホスト側だけで状況を
把握したいんだよね。
0449login:Penguin
2011/01/26(水) 15:09:01ID:abUkBHU9vCenter しらないから外してそうだけど
virt-top とか?
0450login:Penguin
2011/01/26(水) 16:17:44ID:VV1Ndr4A使ってみます。ありがとう。
0451login:Penguin
2011/01/26(水) 20:05:53ID:Joq/0iZG後はこのへん使うと自由度高いのかも
libsys-virt-perl, libvirt-ocaml, libvirt-ruby, python-libvirt
＃ubuntu のpkg name だけど他の環境でも多分同じようなのあるんじゃ
0452login:Penguin
2011/01/27(木) 18:59:32ID:pJZsMQXIってかCDROMで探したんだけどkvmのyumリポジトリってServerの中じゃ無いんだね。
すげー探しちゃった。
他の人の為に残しておくけど下記な場所でした。
[kvm]
baseurl=file:///mnt/cdrom/VT/
0453login:Penguin
2011/01/28(金) 15:24:01ID:HlxFn8RXperl-Sys-Virt-0.2.0だって。memory_statsが使えない・・・。
下手に上げると管理がめんどくさいので我慢しよう。
そんな訳で、get_infoのcpuTimeの値を定期的に集めて状況を観察しようと思ったんですが
そもそもcpuTimeの値ってlibvirtにあるvirVcpuInfoのunsigned long longcpuTimeなんですかね？
libvirtの説明としてはCPU time used, in nanosecondsになっているんでナノ秒中の利用時間かなーとか思ったんですが、どうも累積値っぽいし・・・。
まぁ、時間がかかりそうだから別な方法に変更しようと思ってきた。
kvmマンセー
0454login:Penguin
2011/01/29(土) 00:05:39ID:ZOkjVzmC届く設計だと思う
若干CPU負荷は高いけど、その分メモリもVMWAREなんかと比べると食わないし
0455login:Penguin
2011/01/29(土) 07:06:51ID:OTS2hCU7(EPTがある)nehalem以降のCPUが一般的になった
kernel 2.6.30以降、ext3のデフォルトがrealtimeになった
ioスケジューラーが、cfqが高負荷向けに改良されたり、サーバ向けにデフォルトをdealineに変えてるディストロがでてきた
kvmのクライアント側virtio, ホスト側にvhost-netが載ってきた
それをデフォルトで有効にしてる
あたりかな。
0456login:Penguin
2011/01/29(土) 08:18:14ID:pGIB4yl4QUE数を増やしていったときの伸びがESX上やbaremetal上よりも全然悪いんだけど
何がおかしいんだろう。もちろんWindows用のvirtioは使ってる。
CPUはPhenomX4 905eなので必要条件は満たしているはず。
0457login:Penguin
2011/01/29(土) 12:15:07ID:C2r3dx0Y0458login:Penguin
2011/01/29(土) 13:35:12ID:OTS2hCU7使ったこと無いけど、ここらへんなのかな？
VT-dつかうには、pciアサインするのか・・・
Windows側クライアントのhotplugが書いてないけど。
RED HAT FORUM 2010のrhel6のスライド
http://emasaka.blog65.fc2.com/blog-entry-835.html
http://www.jp.redhat.com/event/2010/rhf/EL-1_ryo_fujita.pdf
http://www.jp.redhat.com/event/2010/rhf/EL-2_satoshi_naito.pdf
ベンチマーク
> Virtual machines performance comparison: vmware vs virtualbox vs kvm vs xen
> http://t.co/xvae1ML
0459login:Penguin
2011/01/29(土) 14:05:44ID:eoJYIMbm0460login:Penguin
2011/01/29(土) 15:15:06ID:pGIB4yl4IOmeterの結果を見るとVMwareとKVMに関しては当方の結果と違いはないようだ。
ただXenはこんなに悪くない。すくなくともVMwareに負けていない。
それとVBoxの結果はおかしい。VMのなかのタイマーで測定するとKVMの値は
真値と大きく狂う。とすると、他の結果も？
0461DDとねがわ
2011/01/29(土) 20:48:52ID:qNbbBWCeその報告、ping -f -c 25000の試験について「もしかしたらスイッチの転送能力を超えたかも」とか書いてるけど、そんなんで溢れるスイッチとか安物過ぎるだろ。評価おかしくない？
0462login:Penguin
2011/01/30(日) 06:32:14ID:kYotuDiZ＞ Fusion I/Oは爆速ストレージだが、KVMの性能がでないらしい。
＞ Virtio-blkあたりがボトルネックになってるっぽい。
http://d.hatena.ne.jp/pcmaster/20101127/p1
http://www.slideshare.net/TakeshiHasegawa1/20101126hbstudy17
0463login:Penguin
2011/01/30(日) 06:41:09ID:kYotuDiZhttp://ja.wikipedia.org/wiki/Intel_Core_i7
0464login:Penguin
2011/01/30(日) 06:44:27ID:kYotuDiZ末尾Kだと、単にVT-dもEPTも無いのか？
0465login:Penguin
2011/01/30(日) 12:22:52ID:tpEzjqmV0466login:Penguin
2011/01/30(日) 13:15:48ID:RFb/gyFQ0467login:Penguin
2011/01/30(日) 15:29:33ID:v0EjGRUO0468login:Penguin
2011/02/03(木) 00:16:52ID:QDzNcBZq0469login:Penguin
2011/02/03(木) 12:35:33ID:ZgYKgVhP0470login:Penguin
2011/02/03(木) 17:09:39ID:StQY8yR30471login:Penguin
2011/02/03(木) 17:14:53ID:i4KBOW890472login:Penguin
2011/02/03(木) 17:47:31ID:lXnAhalt0473login:Penguin
2011/02/03(木) 18:16:07ID:6xWsWydj0474login:Penguin
2011/02/03(木) 19:14:03ID:U5gBXlVE0475login:Penguin
2011/02/03(木) 20:49:57ID:ulcPuolfXenのどこがフィーバーしてると…
0476login:Penguin
2011/02/04(金) 00:51:53ID:4denRA/MRedHat 5のサポートが終了する頃にはどうなってるかわからんけど。
0477login:Penguin
2011/02/04(金) 00:56:10ID:RVAejoF/VMwareは大規模クラウドの実績がないので今は耐え時。
KVM え、どこで使ってるの。
0478login:Penguin
2011/02/04(金) 01:14:38ID:S6C1sD2O0479login:Penguin
2011/02/04(金) 01:35:54ID:clwanejF0480login:Penguin
2011/02/04(金) 10:32:02ID:uzZtgvUxGAEがXenというのは公表されてたっけ？
ただ、あの仕組みならVM使わない方がいいと思うけど。
0481login:Penguin
2011/02/04(金) 12:57:55ID:+XhgGLI/さくらの宣伝？
0482login:Penguin
2011/02/04(金) 17:15:01ID:9o40Ca1i0483login:Penguin
2011/02/04(金) 22:11:00ID:XfWneInA0484login:Penguin
2011/02/04(金) 23:33:35ID:4denRA/M0485login:Penguin
2011/02/05(土) 00:38:12ID:lYTuSA+40486login:Penguin
2011/02/05(土) 00:41:53ID:lYTuSA+4NiftyCloud並のHAサポートのサービスだとVMwareとかOracleVM=Xen
になってんだよね。KVMは安値見せモデル。
0487login:Penguin
2011/02/05(土) 03:27:18ID:lEzDlkjBストレージのスループットがぱない
高いけどね
0488login:Penguin
2011/02/05(土) 09:43:31ID:tBinNmpU0489login:Penguin
2011/02/05(土) 09:57:55ID:lYTuSA+40490login:Penguin
2011/02/05(土) 10:10:47ID:huBGmNU30491login:Penguin
2011/02/07(月) 20:46:35ID:+XpN94K+微妙にネットワーク関係で調子が悪かったのがスパっと直った
環境が違うから全ての人に効果あるか判んないけど一度試す価値あるかも
0492login:Penguin
2011/02/07(月) 20:55:52ID:SiRoH9Ilかなり貢献しているとかカーネウォッチの記事にあったね。
0493login:Penguin
2011/02/07(月) 21:52:49ID:4bMO7Rwyそれどこ？URL教えてー
0494login:Penguin
2011/02/08(火) 01:56:55ID:PbMr5Lj8Linux Daily Topics
http://gihyo.jp/admin/clip/01/linux_dt
妙に雑多な感じがするがアンテナみたいなもん
Linuxカーネル情報: Linuxメモ
http://toybox.tea-nifty.com/linux/2009/06/linux-f891.html
0495492
2011/02/08(火) 11:04:01ID:DPOgZCbPttp://japan.internet.com/webtech/20110117/6.html
>493
■ このスレッドは過去ログ倉庫に格納されています