马尔科夫过程

一个马尔科夫过程是状态间的转移仅依赖于前n个状态的过程。这个过程被称之为n阶马尔科夫模型，其中n是影响下一个状态选择的（前）n个状态。最简单的马尔科夫过程是一阶模型，它的状态选择仅与前一个状态有关
马尔可夫链（Markov Chain），描述了一种状态序列，其每个状态值取决于前面有限个状态。马尔可夫链是具有马尔可夫性质的随机变量的一个数列
在正常的马尔可夫模型中，状态对于观察者来说是直接可见的。这样状态的转换概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的，但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一概率分布。因此输出符号的序列能够透露出状态序列的一些信息。
HMM是一种用参数表示的用于描述随机过程统计特性的概率模型，它是一个双重随机过程。HMM 由两部分组成:马尔可夫链和一般随机过程。其中马尔可夫链用来描述状态的转移，用转移概率描述。一般随机过程用来描述状态与观察序列间的关系，用观察值概率描述
隐马尔科夫三大基本问题
''
问题1 HMM的概率计算问题
给定观测序列o={ol，o2，⋯，ot}和模型λ，怎样有效地计算观测变量序列o的在给定模型下的概率P(OIλ)
问题2 HMM的最优状态序列问题
给定观测序列O={o1，o2，⋯，ot)和模型λ，怎样选择一个相应的状态序列q={q1，q2，⋯，qt)，能够在某种意义上最优(例如，更好的解释“观测变量”)?
问题3：HMM的训练问题(参数估计问题)
给定观测序列O={o1，o2，⋯，ot，)和初始条件，如何调整模型参数λ=(π，A，B)使P(Olλ)为最大?
''