Message Passing Interface (MPI) 統合スレ
■ このスレッドは過去ログ倉庫に格納されています
0001デフォルトの名無しさん
NGNGとりあえず本家
http://www-unix.mcs.anl.gov/mpi/
0152デフォルトの名無しさん
2006/12/24(日) 14:18:16スレタイ嫁
0153デフォルトの名無しさん
2007/01/03(水) 16:11:550154デフォルトの名無しさん
2007/01/14(日) 01:14:46以下のようなエラーを吐いてしまいました。
どなたか原因がわかる方いませんでしょうか。
pingでお互いのホストは認識されています。
>ERROR: The root process on "hostname" has unexpectedly exited. Exit code = -1073741515
0155デフォルトの名無しさん
2007/01/14(日) 13:35:32[hostname]ユーザーが登録されてるクラスタのプロセスがおかしいって言ってるね
もうちょっと構成とか詳しく
0156デフォルトの名無しさん
2007/01/14(日) 16:33:20レスありがとうございます。
大学の研究室のマシン（XP)で、お互い同じワークグループに入っているようです。
構成についてもっと詳しく書きたいのですが、
どのように調べてどういった情報を書けばいいのか教えていただけますか？
よろしくお願いします。
0157154
2007/01/15(月) 19:54:35調べたのですがやはりよくわかりません。
>>156で同じワークグループだと書きましたが、それは関係ないみたいですね。
研究室のマシンがどのようにつながっているのか良くわからないのですが、
共有フォルダで互いのファイルを参照できたり同じワークグループに入って
いたりしたので、MPICHも問題なく動くものだと勘違いしていました。
WindowsでMPIを使う場合の構成の仕方が載ってるサイトの情報でも
とてもありがたいので、どなたかご教示願いいたします。
0158155
2007/01/15(月) 22:07:54ttp://www.google.co.jp/search?num=100&hl=ja&rls=GGGL%2CGGGL%3A2006-29%2CGGGL%3Aja&as_qdr=all&q=MPI+windows+filetype%3Apdf&btnG=Google+%E6%A4%9C%E7%B4%A2&lr=
googleでpdf検索すればどう設定すればいいか結構でてくるよ
あとMPIプログラミングやるなら虎の巻は読んどいた方がいいね、まあ健闘を祈る！
ところでCPUは何使ってる？
0159154
2007/01/16(火) 00:20:12レスありがとうございます。
リンクのトップに出てくるサイトで設定をしていてできなかったのです。
で、いじくってて気づいたのですが、ユーザーズガイドのシステム要件を見たら、
WindowsのHOME EDITIONは使えないのですね・・・
これはMPICH2を使えばいいのでしょうか。
MPICH2のほうのユーザーズガイドみたら特にPROに限るような記述はなかったので
HOMEでもいけるのですかね？
あと、CPUですがPentium4を使っています。
0160デフォルトの名無しさん
2007/01/16(火) 02:37:19Homeか・・・そりゃ無理だ
デュアルブートでLinux入れる気無い？何に使うかわからんがWindows環境を捨てるのも
一つの手だよ、ただMPIを動かしたいんならKnoppix MPIとか使うと簡単に起動できる
ttp://kagakububuturi.hp.infoseek.co.jp/
・・・つーかこれ高校生が作ったにしちゃあよくできてるよな
後Knoppix-MPIで使ってるMPIはLAM-MPIのほうだからMPICH使いたいならあわないかも
ttp://www20.atwiki.jp/mynote/?page=mpi
適当ですまん (;´Д`)／
0161154
2007/01/23(火) 03:52:37レス遅れてごめんなさい。
実はあれからMPICH2でやってみたところ、WindowsHomeでも動かすことができました！
たくさん相談にのっていただきありがとうございました。
ただ、今回４台で並列化行う予定なんですけど、
１台だけうまくいかないマシンがあってまた困っています。
他のマシンで２台でやってみると正常に実行できるのに、そのマシンを入れて行うと
"abort: Unable to connect to <hostname>"と出てしまいます。
設定は他のマシンと同じようにしてるつもりなのですが。
ようやくできるようになったと思ったのに、色々問題出てきますね・・・
0162デフォルトの名無しさん
2007/01/23(火) 15:13:21WinのMPICH2は使った事無いが<hostname>って言うノードが登録されてないんじゃないか？
ttp://www.imslab.co.jp/Product/eem/parallel/faq.htm
上のページの一番下が原因かも
あとMPI組んだならHPL(Linpack)ベンチマーク走らせて結果うp！
0163154
2007/01/24(水) 02:08:24レスありがとうございます！
ご指摘のとおり、アカウント名が原因でした。
あとベンチマークですが、、、余裕があったらやってみます、ｽﾐﾏｾﾝ^^;
0164デフォルトの名無しさん
2007/01/30(火) 17:50:05どのような関数を使えばいいでしょうか？
0165デフォルトの名無しさん
2007/01/30(火) 22:47:50http://pc10.2ch.net/test/read.cgi/tech/1170150974/
0166デフォルトの名無しさん
2007/01/31(水) 15:24:230167デフォルトの名無しさん
2007/02/02(金) 19:26:04つ ny
0168デフォルトの名無しさん
2007/02/05(月) 09:33:01wmpiconfig.exeでapplyボタンを押しても
<ホスト名>
Credentials for <アカウント名> rejected connecting to <ホスト名>
Aborting: Unable to connect to <ホスト名>
と表示されて設定できません。
アカウント名とパスワードは2台とも同じものを設定していて、
ファイアーウォールも切っています。
pingでもお互いを認識しています。
どなたか原因分かる方よろしくおねがいしますm(_ _ )m
マシン構成は
winXP HOME PEN4 1.6GHz
winXP PRO PENIII 800MHz
です
0169デフォルトの名無しさん
2007/02/26(月) 22:15:01何か原因に心当たりのある方はおられませんか。
printf("before\n");
MPI_Finalize();
printf("after\n");
これをやったらbeforeしか表示されません。
ちなみに[email protected]です。
0170デフォルトの名無しさん
2007/02/27(火) 01:07:310171169
2007/02/27(火) 03:48:13PC毎にパラメタが変わってこけていたという罠。
吊ってきます
Λ||Λ
0172デフォルトの名無しさん
2007/03/13(火) 00:51:59なく、PC毎に別のデータを別の処理方法で行っていて、あるPCの処理結果が別の処理中のPCの処
理に割り込んで処理方法を変えるなどということは出来るのでしょうか？
0173デフォルトの名無しさん
2007/03/20(火) 23:06:11MPI_Finalizeを呼ぶタイミングについて疑問があります。
MPI_Finalizeをmainの末尾で呼べば無事に終わるのですが、
Singletonクラスのデストラクタの中で呼んだら落ちてしまいました。
main を抜けた後に呼んではいけないでんしょうか？
環境は、MPICH2、Win XP SP2、Visual Studio 2005 です。
0174デフォルトの名無しさん
2007/05/06(日) 03:28:13データタイプがテンプレートに指定されたデータタイプによって変わる場合、
どのように設定したらよいのでしょうか？
0175デフォルトの名無しさん
2007/05/19(土) 08:51:23template<typename T> class MpiConst{};
template<double> struct MpiConst
{
static const int TYPE = MPI_DOUBLE;
};
と特殊化をしておいてから、目的の template を作る
のは、どうでしょう。
これは、MpiConstを隠蔽する改良案です。
class Base
{
protected:
Base();
~Base();
static const int TYPE = MPI_DOUBLE;
// 以下、MpiConst の定義・特殊化
};
template<typename T> TargetClass: protected Base
{ ... };
0176デフォルトの名無しさん
2007/05/19(土) 09:14:10static const ... の行を消し忘れました。
0177デフォルトの名無しさん
2007/05/21(月) 07:56:54場合とそうでない場合に別々のコードを書くことができますが、
MPIの場合はどのようにしたらよいのでしょうか？
0178デフォルトの名無しさん
2007/06/09(土) 16:58:36少なくないと思うので、お尋ねします。
1年前に構築した16ノードクラスタ(ディスクはNFS共有、ギザイーサ）が、
最近頻繁にp4_errorを起こすようになりました。
とりあえず疑わしいところからパーツを取り替えまくったのですが、全く改善しません。
特定ノードというより全体的にパラパラと障害が発生してるので、もしやネットワークかな
と思ったのですが、ネットワークに問題があるなら、rloginやsshのセッションやNFS
の読み書きにも障害が出ると思うのですが、特に問題は出ていないようです。
MPIで並列したときに限って発生します。
これからネットワークの交換を検討していますが、何かアドバイス頂けいたら幸いです。
ちなみに1年間はほぼ問題なく使えており、他の計算機でも実績があるので
プログラム側の問題ではないです。
0179デフォルトの名無しさん
2007/06/22(金) 11:04:410180デフォルトの名無しさん
2007/06/23(土) 23:33:500181デフォルトの名無しさん
2007/06/24(日) 14:51:42今頃気付いたが、ギザイーサﾜﾛｽ
巨大王墓間を高速インターコネクトで結んで世界の七不思議にでも入れたいノケ?
0182デフォルトの名無しさん
2007/06/24(日) 15:17:250183デフォルトの名無しさん
2007/06/26(火) 08:00:52中川しょ（ｒｙ
0184デフォルトの名無しさん
2007/06/27(水) 15:30:14日本語でおｋ
0185デフォルトの名無しさん
2007/06/27(水) 23:51:220186デフォルトの名無しさん
2007/06/28(木) 02:15:450187デフォルトの名無しさん
2007/06/28(木) 22:45:570188・∀・）っ-○◎●
2007/06/29(金) 02:42:040189デフォルトの名無しさん
2007/07/02(月) 16:57:33MPIを使ってさらに大規模な行列を計算させたいのですが、お薦めのライブラリを教えてください
0190デフォルトの名無しさん
2007/08/12(日) 20:42:39fedora5でひととおりmpich2をインストール、設定後に実行するとこんなんで
て困ってます。
# mpirun -n 1 date
mpiexec_ps3slave1 (send_dict_msg 632):send_dict_msg: sock= errmsg=:(32, 'Broken pipe'):
mpdtb:
/usr/local/bin/mpdlib.py, 632, send_dict_msg
/usr/local/bin/mpirun, 250, mpiexec
/usr/local/bin/mpirun, 1399, ?
mpiexec_ps3slave1: mpd_uncaught_except_tb handling:
exceptions.KeyError: 'cmd'
/usr/local/bin/mpirun 255 mpiexec
elif msg['cmd'] != 'response_get_mpdrun_values':
/usr/local/bin/mpirun 1399 ?
mpiexec()
どなたか御力をおかしください。
0191190
2007/09/03(月) 22:06:14いけました。
他にps3でクラスタやってる人の例をネットなどでみていると、結構Fedora 5で
やってる人がいるから、OSの違いでうまくいったというよりも、初回のmpiの
インストール時の設定に問題があったのかもしれません。以上。
0192デフォルトの名無しさん
2007/09/10(月) 01:30:38知ってるひといたら教えてくれい
0193デフォルトの名無しさん
2007/09/12(水) 04:50:40こんなのあった
自分は使ったことないが
ttps://sourceforge.jp/projects/mpiunit/
0194デフォルトの名無しさん
2007/09/23(日) 03:05:43つかってみたぞ
いがいとべんりだった
0195デフォルトの名無しさん
2007/09/24(月) 00:57:560196デフォルトの名無しさん
2007/09/26(水) 16:47:33チュートリアル書きたいが
どんな機能があるのがよくわからん
0197デフォルトの名無しさん
2007/09/27(木) 00:30:55虎の巻じゃだめかね
0198デフォルトの名無しさん
2007/09/27(木) 01:59:38虎の巻をたのむ
0199デフォルトの名無しさん
2007/09/27(木) 09:50:27ttp://accc.riken.jp/HPC/training/text.html
0200デフォルトの名無しさん
2007/09/27(木) 15:07:25すまねえ
193の虎の巻がほしかったんだ
0201デフォルトの名無しさん
2007/09/30(日) 00:21:40パッケージの中にあるじゃん
0202デフォルトの名無しさん
2007/09/30(日) 12:28:39あるけどわかりにくくない？
0203デフォルトの名無しさん
2007/09/30(日) 21:15:53http://sourceforge.jp/projects/mpiunit/wiki/Tutorial
0204デフォルトの名無しさん
2007/09/30(日) 21:37:27ま と も な
チュートリアルが欲しいんだよ。
0205デフォルトの名無しさん
2007/10/01(月) 03:36:48作者に直で言うしかないな
0206デフォルトの名無しさん
2007/10/01(月) 23:01:280207デフォルトの名無しさん
2007/10/04(木) 21:05:22どうせLGPLだし
204氏はどんなチュートリアルが欲しいんだい？
0208デフォルトの名無しさん
2007/10/05(金) 12:19:320209デフォルトの名無しさん
2007/10/11(木) 00:03:400210デフォルトの名無しさん
2007/10/17(水) 09:58:07使ってるよ
プログラミングの効率が上がった
0211デフォルトの名無しさん
2007/10/20(土) 20:55:500212デフォルトの名無しさん
2007/10/26(金) 21:09:070213デフォルトの名無しさん
2007/11/02(金) 21:07:27$ rpm -qa |grep mpi
openmpi-devel-1.1.1-5.el5
openmpi-libs-1.1.1-5.el5
openmpi-libs-1.1.1-5.el5
openmpi-1.1.1-5.el5
openmpi-devel-1.1.1-5.el5
手元にX86_64のPCが2台とi386のPCがあるのですが、
異種アーキテクチャのバイナリの自動選択はどうやってするのでしょうか?
全部i386で揃えろって意見もあるかもしれませんが、64bit整数演算をする
ので64bitで動かしたいんですよね。
mpichは出来るみたいですね。
http://enrico.phys.cmu.edu/QCDcluster/mpi/mpirun_mpich.html
というかOpenMPIはman マニュアル無くて悲しい。
0214デフォルトの名無しさん
2007/11/04(日) 15:00:582台ともデュアルコアなので、
/etc/mpich/machines.LINUX に
cluster1:2
cluster2:2
と記述しています。
テストを行おうと
mpirun -np 4 cpi
をしてみたのですが、1分以上待ってもプロンプトが帰ってきません。しかし
mpirun -np 3 cpi
とするとcluster1に2スレッド、cluster2に1スレッド割り当てられ計算結果がすぐ返ってきます？
4コア使い切るためにはどうしたら良いでしょうか？
0215２１３
2007/11/07(水) 00:40:140216デフォルトの名無しさん
2007/11/07(水) 11:28:47mpich-1.2.7p1
gcc, pgi 7.1
を使用していますが、emacsでmpiデバッグできませんかね。
gdbとpgdbgを使ってデバッグできますが、
pgdbgは使いにくいし、gdb単体も使いにくいので、できれば
emacsからgdbを起動したいなと。
0217デフォルトの名無しさん
2007/11/07(水) 13:26:160219デフォルトの名無しさん
2007/11/07(水) 15:42:53ローカルマシンに同じ名前のディレクトリを作る。
そこに機種毎のバイナリを置く。
これで桶。
0220デフォルトの名無しさん
2007/11/07(水) 15:44:35補足。
機種毎のバイナリは同じ名前で作っておく。
mpirunはデフォでは同じ名前のユーザーの同じ名前のディレクトリにある
同じ名前のコマンドを実行するだけなので。
0221デフォルトの名無しさん
2007/11/07(水) 15:59:06標準で入ってるんだ
昔はPVMが主流だったそうだけど、今はほとんどがMPIだよね
0223214
2007/11/10(土) 21:37:30localhost:2
cluster2:2
となっていたのを
cluster1:2
cluster2:2
にしたらいけました。３スレッドはできるので machines.LINUXは悪くないと決め付けてました。
0224デフォルトの名無しさん
2007/12/12(水) 06:13:16・4CPU/共有メモリの計算機でMPIによる並列計算を行っています。
しかし
・この計算機の場合、計算実時間が1CPUで計算している場合よりも
大幅に増えてしまいます。
（大学の大型計算機等で計算した場合、計算実時間は4CPUの場合、
1CPUの1/3.4ぐらいに短縮されますのでプログラム的には問題ないと考えています。）
・top コマンドで計算状況を監視していると、使用CPUが変動し、しばしば
同じCPUを2つのスレッドで競合しているようです。
・使用CPUの数をいろいろと変えてみましたが必ず競合してしまうようです。
・従って時間計測コマンドでCPU時間を測定すると、
下記のようにCPU時間は短縮されているが、実時間は増えてしまうという結果になるようです。
real time 1000.0
user time 250.0
・計算機を納品した会社（H○C systems）に質問したところ、
設定は問題はない。プログラムの問題、あるいは通信時間がかかってしまうので
実時間が増える、といういい加減な返答しかきません。
似たような症状を経験したことのある方、対処法をご存知でしたら
教えてもらえないでしょうか。
0225デフォルトの名無しさん
2007/12/13(木) 07:08:530226デフォルトの名無しさん
2007/12/27(木) 14:48:26MPICHならconfigure時に --mem=shared を付けて構築すべし
通信が共有メモリを介したものになる(異ノード間は当然sshやrsh経由)。
実行時に ps -x してsshやrshでプロセスが起動してたら、わざわざ同一計算機内でTCP/IP通信しちゃってるので損。
OSやコンパイラに付属のMPICHはsharedで構築されていない例が多いので自分で構築してみよう。
0227デフォルトの名無しさん
2007/12/27(木) 14:59:25今時シングルコアはないから、2コアの2CPUなんだろう
0228デフォルトの名無しさん
2007/12/28(金) 20:38:39>>225
検索すると状況としてはこれが当てはまる感じなのですが、
私には使い方がよく分かりません。
詳しいサイト等ありましたら教えてもらえないでしょうか。
>>226
確かにps x コマンドで確認すると（ノード内の場合でも）
rsh が動いていました。
このコンピュータはMPIのインストール及び設定済みのものを
購入したのですが、業者がいいかげんということなのでしょうか？
複数ノード構成なのですが、この場合はどうなのでしょうか
業者の説明では例えば、machinefile に
node00:2 とすればSMPとなるとのことでした。
node00 node00 とすれば通信が発生するとのことでした。
>>227
シングルコアのItanium2:4CPUx4ノードの構成です。
（年度でわけて増設して購入したのでちょっと古いCPUになっています）
納品されたのは1年以上前なのですが、不具合ばかりです。
0229225
2007/12/29(土) 00:39:48#include <mpi.h>
#include <sched.h>
#include <stdio.h>
int
main(int argc, char *argv[])
{
int rank;
cpu_set_t mask;
double t;
MPI_Init(&argc, &argv);
MPI_Comm_rank(MPI_COMM_WORLD, &rank);
__CPU_ZERO(&mask);
__CPU_SET(rank, &mask);
if (sched_setaffinity(0, sizeof(mask), &mask) == -1) {
perror("Failed to set CPU affinity");
goto error;
}
t = MPI_Wtime();
while (MPI_Wtime() - t < 10 + rank * 5)
;
MPI_Finalize();
return 0;
error:
MPI_Finalize();
return -1;
}
0230225
2007/12/29(土) 00:46:50sar コマンドを使って、例えば
> sar -P ALL 1 1000
とやると各プロセスがランクと同じ番号の CPU で走り続けてランク順に終了していく様子が観察できる。
参考にしたページ：http://d.hatena.ne.jp/naoya/20070824/1187945715
0231デフォルトの名無しさん
2008/01/08(火) 18:31:33の書き込み見て、--with-comm=shared というオプションをつけてMPICHを
コンパイルしてみたんだけど、逆に遅くなりました。共有メモリのほうが早く
なると思うんですけど、どうしてだろう？
CPUは Core 2 Quad 2.4GHz を使っています。
0232デフォルトの名無しさん
2008/01/09(水) 01:43:00GridMPIのMPI関数は、通信先によって、リモートノードなら、IMPI、
自ノードなら自ノード内のMPI（ベンダMPIなど）を呼び出して通信
するはずですが、GridMPIが提供しているMPI関数と（自ノードの）
ベンダMPIの関数のシンボルが重複しないのはなぜでしょう？
（最初は、GridMPIから発行するベンダMPIの関数は、MPI関数では
なく、PMPI関数と思っていましたが、これは違いますよね・・・）
0233デフォルトの名無しさん
2008/01/10(木) 00:07:05MPICHのブロードキャストはTCPを用いて行われているようなのですが、
UDPによるブロードキャストを使用することはできるのでしょうか？
ご存知の方がいらっしゃれば、よろしくお願いします。
0234デフォルトの名無しさん
2008/01/11(金) 10:27:421.スレーブ(MPIでもこういう表現するんですかね)のマシンに
計算領域を割り当てて計算させる
↓
2.マスタに計算結果を返す
↓
1と2を繰り返す
という流れはどういう風にソース上で実現させているのでしょうか。
0235デフォルトの名無しさん
2008/01/11(金) 20:48:46スレーブとか言いません。
全く同じプログラムが複数走ります。
主従はなく、皆平等です。
MPI_Comm_rank関数を呼び出すと自分のノード番号がわかるので、
その番号に応じた振舞いをするようにプログラムを書きます。
たとえば、0から100までの足し算を2台の計算機でするときに、
ノード番号0なら0から49まで、ノード番号1なら50から100まで計算するようにしておきます。
通信は送信したいノード番号に向けて送信し、受信したいノード番号を指定して受信します。
0236デフォルトの名無しさん
2008/01/12(土) 20:56:170237デフォルトの名無しさん
2008/01/13(日) 11:21:47そうやるんですか
PVMで同じようにする方法がさっぱりわからんもんで
参考になるかな、とは考えたのですが・・・
0238デフォルトの名無しさん
2008/01/16(水) 23:13:340239デフォルトの名無しさん
2008/02/07(木) 17:31:34質問です。
class base {
...
};
class derived1: base{
...
};
class derived2: base{
...
};
があって、
vector<base*> v;
にノード0で
v.push_back(new derived1());
v.push_back(new derived2());
...
などとして配列を作ります。
で、作った物を他のノードに配信したいのですが、どうやれば良いでしょうか？
newで生成したderived1などのオブジェクトも一緒に配信したいわけで、単純にvのバイト列を送れば良いというわけには行かないわけで。
実際にはderived1等にもnewしたオブジェクトのポインタが存在して、それも他のノードで再現したいわけで...
0240デフォルトの名無しさん
2008/02/07(木) 18:19:400241239
2008/02/07(木) 20:05:46って、まあ置いといて、STLのstringなんかもオブジェクトのバイナリ丸コピじゃだめなんだよな。
ヒープからバッファ取ってるから。
となると、シリアライズして送信、受信側で再構築なんだろうけど、正直面倒臭いな。
0242デフォルトの名無しさん
2008/03/01(土) 05:39:370243デフォルトの名無しさん
2008/03/06(木) 23:33:27Linux / Cele 420 / MEM 2GB / 26台 /hdd less
という構成なんだが、手軽に遊ばせるMPIのサンプルないかな?
ちなみに、午後6時に強制shutdownの設定になってるので、
長くても8時間程度のジョブの奴を頼む。
0244デフォルトの名無しさん
2008/03/18(火) 08:12:50環境はFedora8+Intel C++ 10です。
0245デフォルトの名無しさん
2008/03/29(土) 13:32:000246デフォルトの名無しさん
2008/04/05(土) 15:00:580247デフォルトの名無しさん
2008/04/17(木) 17:12:340248デフォルトの名無しさん
2008/04/17(木) 18:43:410249デフォルトの名無しさん
2008/04/18(金) 21:06:07同じエラーが出るミニプログラムを作ってうp汁
0250デフォルトの名無しさん
2008/04/22(火) 00:04:00どこのスレいけばいいか解らんくて
迷子してる
0251デフォルトの名無しさん
2008/05/21(水) 23:38:11ファイルがバッファリングされる関係で
リアルタイムで更新されないので、fflushを
つっこんだら、計算時間が倍になったぞ。
こういうのは難しいなぁ。
0252デフォルトの名無しさん
2008/05/22(木) 06:37:45NFSとかSambaでリモートのファイルシステムに書いてない？
ローカルの /tmp あたりに書くようにすると速くなるかも。
■ このスレッドは過去ログ倉庫に格納されています