Atitit 马尔可夫过程(Markov process) hmm隐马尔科夫。 马尔可夫链,的原理attilax总结

Atitit 马尔可夫过程(Markov process hmm隐马尔科夫 马尔可夫链的原理attilax总结

 

1. 马尔可夫过程1

1.1. 马尔科夫的应用 生成一篇看起来像文章的随机文本1

2. 隐马尔科夫过程1

3. 隐马模型基本要素及基本三问题2

4. 维特比算法2

5. 应用 HMM一开始是在信息论中应用的,后来才被应用到自然语言处理还有其他图像识别等各个2

6. 扩展数学之美系列十九 -- 马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks)2

6.1. 马尔可夫链 (MarkovChain) 它描述了一种状态序列,其每个状态值取决于前面有限个状态。3

6.2. 上述的有向图 成一个网络,它就是贝叶斯网络3

6.3. 参考资料4

 

1. 马尔可夫过程

 编辑

马尔可夫过程(Markov process)是一类随机过程。它的原始模型马尔可夫链,由俄国数学家A.A.马尔可夫1907年提出。该过程具有如下特性:在已知目前状态 (现在)的条件下,它未来的演变 (将来)不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中,有很多过程都是马尔可夫过程,如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等,都可视为马尔可夫过程

 

1.1. 马尔科夫的应用 生成一篇看起来像文章的随机文本

先稍稍介绍下马尔可夫链,简单地说就是输入一篇文章(其实是单词序列),建立前缀表后缀表,然后根据前缀随机选择后缀,如此迭代,生成一篇看起来像文章的随机文本。当然这只是马尔可夫链的一个应用,不过也算挺典型的。我曾经在开发一些应用的时候用类似的程序来生成测试数据。 

2. 隐马尔科夫过程

与马尔科夫相比,隐马尔科夫模型则是双重随机过程,不仅状态转移之间是个随机事件,状态和输出之间也是一个随机过程,如下图所示:

 

3. 隐马模型基本要素及基本三问题

综上所述,我们可以得到隐马尔科夫的基本要素,即一个五元组{S,N,A,B,PI}

S:隐藏状态集合;

N:观察状态集合;

A:隐藏状态间的转移概率矩阵;

B:输出矩阵(即隐藏状态到输出状态的概率);

PI:初始概率分布(隐藏状态的初始概率分布);

其中,A,B,PI称为隐马尔科夫的参数,用X表示。

 

4. 维特比算法

现在,HMM的第一个基本问题解决了,下面开始解决第二个问题,第二个问题又称为解码问题,同样的,暴力算法是计算所有可能性的概率,然后找出拥有最大概率值的隐藏状态序列。与问题一的暴力解决方案类似,复杂度为O(NT)

那应该用什么方案呢?

毫无疑问,还是动态规划啊!

 

 

5. 应用 HMM一开始是在信息论中应用的,后来才被应用到自然语言处理还有其他图像识别等各个

说了这么多,HMM到底有什么应用呢?

HMM一开始是在信息论中应用的,后来才被应用到自然语言处理还有其他图像识别等各个方面。下面举两个例子说明他的应用,一个是输入法的整句解码,一个是语音识别。有图为证:

 

输入法把拼音看做是观察状态,需要得到的汉字为隐藏状态,这样,输入法的整句解码就变成了维特比解码,其转移概率即是二元语言模型,其输出概率即是多音字对应不同拼音的概率。

将上图中的拼音换成语音,就成了语音识别问题,转移概率仍然是二元语言模型,其输出概率则是语音模型,即语音和汉字的对应模型。

6. 扩展数学之美系列十九 -- 马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks)

6.1. 马尔可夫链 (MarkovChain) 它描述了一种状态序列,其每个状态值取决于前面有限个状态。

这种模型,对很多实际问题来讲是一种很粗略的简化。在现实生活中,很多事物相互的关系并不能用 一条链来串起来。它们之间的关系可能是交叉的、错综复杂的。比如在下图中可以看到,心血管疾病和它的成因之间的关系是错综复杂的。显然无法用一个链来表 示。

 

 

6.2. 上述的有向图 成一个网络,它就是贝叶斯网络

。其中每个圆圈表示一个状态。状态之间的连线表示它们的因果关系。比如从心血管疾病出发到吸烟的弧线表示心血管疾病可能和吸 烟有关。当然,这些关系可以有一个量化的可信度 (belief),用一个概率描述。我们可以通过这样一张网络估计出一个人的心血管疾病的可能性。在网络中每个节点概率的计算,可以用贝叶斯公式来进行, 贝叶斯网络因此而得名。由于网络的每个弧有一个可信度,贝叶斯网络也被称作信念网络 (belief networks)。

 

和马尔可夫链类似,贝叶斯网络中的每个状态值取决于前面有限个状态。不同的是,贝叶斯网络比马尔可夫链灵活,它不受马尔可夫链的链状结构的约束,因此可以更准确地描述事件之间的相关性。可以讲,马尔可夫链是贝叶斯网络的特例,而贝叶斯网络是马尔可夫链的推广。

6.3. 参考资料

 

隐马尔科夫模型详解 - - 博客频道 - CSDN.NET.html

GMM-HMM语音识别模型 原理篇 - Rachel Zhang的专栏 - 博客频道 - CSDN.NET.html

(2 条消息) 如何用简单易懂的例子解释隐马尔可夫模型? - 知乎.html

数学之美系列十九 -- 马尔可夫链的扩展 贝叶斯网络 (Bayesian Networks) - Kevin Yang - 博客园.html

 

作者:: 绰号:老哇的爪子 ( 全名::Attilax Akbar Al Rapanui 阿提拉克斯 阿克巴 阿尔 拉帕努伊 ) 

汉字名:艾提拉(艾龙)   EMAIL:1466519819@qq.com

转载请注明来源:attilax的专栏   http://www.cnblogs.com/attilax/

--Atiend

 

 

posted @ 2016-11-30 18:34  attilaxAti  阅读(2292)  评论(0编辑  收藏  举报