マルコフモデルについて書かれている入門書を一冊手にとって見てみな、
マルコフモデルは確率有限オートマトンの一種って言葉がでてくるから。
詳しくは、決定性確率有限オートマトンかな。