オートマトンやらPDAやら
http://www.kikuken.org/yu/jugyo/automata/1999/page2.html

決定性、非決定性の説明は探すのが大変なので自分でどうぞ
http://www.google.co.jp/search?q=NFA+DFA+%E9%81%95%E3%81%84&hl=ja&ie=UTF-8&oe=UTF-8&c2coff=1

マルコフ決定過程
http://infoshako.sk.tsukuba.ac.jp/information/Keiko/Home/laboratory/ikuta_lab/studyj.html