>>398
一般的なマルコフ連鎖についてもう少し勉強してから来てください。
http://markun.cs.shinshu-u.ac.jp/learn/probability/i_04-00.html