机器学习 —— 概率图模型(马尔科夫与条件随机场)

  再一次遇到了Markov模型与条件随机场的问题,学而时习之,又有了新的体会。所以我决定从头开始再重新整理一次马尔科夫模型与条件随机场。

  马尔科夫模型是一种无向概率图模型,其与马尔科夫链并不是很一样。马尔科夫链的节点是状态,边是转移概率,是template CPD的一种有向状态转移表达。而马尔科夫模型是与贝叶斯模型并列的一种概率图模型。其作用是描述互相影响,互相作用,不存在因果关系的两个随机变量之间的关系。因为作用是相互的,所有马尔科夫模型的边是无向的,或者可以说是双向的。马尔科夫模型的强大之处在于它解除了贝叶斯模型中的因果关系,这也就使得它可以对很多平等的东西建立相互关系。比如一幅图片的各个像素就是平等的,但是各个像素之间可以相互影响(天在上,地在下)。所有马尔科夫模型被广泛的应用于图像处理,与图像理解。(图像处理与图像理解所使用的网络结构并不一样)。

1.toy Example

  假设有4个人,之间搞三角恋的关系。其关系如图所示,有边的部分代表有联系,没边的部分代表不联系。

  这四个人可以持有不同的意见0,1. 比如DA,BC两对完全赞同对方的意见,CD两个人完全反对对方的意见,AB 对对方的意见存疑。四个人各自的意见都是随机变量,但是经过一番交流后肯定会达成某个共识。我们认为达成不同共识的概率是不同的。因为我们对最终的概率感兴趣,所以要对不同意见组合的可能性进行量化(打分)。注意,这里的打分是凭着直觉给的,并不完全要求归一化。比如上图中的打分。

  最终,我们希望得到不同意见组合的概率,直觉上,只需要把随机变量对应取值,按照边的关系相乘就可以获得了。

  这里Z是归一化因子,把上面所有数据加起来,再归一化,数据看起来就像是概率了。但是这个概率看起来很诡异啊,明明a=b的概率比较大,可是边际化之后确实a0b1比较可能,其根本原因在于a,b之间不止一条边。a还可以通过DC影响B。补充一句:我们凭感觉给的那个数,就是“势”。

2. Gibbs 分布

  谈概率就一定要谈分布,分布的本质就是概率密度函数的表达式。“势”可以有很多方法确定,假设是已知的,那么随机变量的联合概率则可表达为:

  思路和上面是一样的,如果有各个“团”的“势”,那么则可以通过“超级边际化”来获得总因子,将整个势进行归一化。这个过程称为Gibbs分布。

3.分布--->图,图--->分布

  在有了Gibbs分布这一工具之后,就可以建立概率图的数学模型了。需要注意的是:对于给定的分布,可以建立不同的图,对于给定的图,也有不同的分布写法。

  实际上,“团”代表的是影响流动的方向。一旦某个随机变量被观察到,影响则被隔断了。trail就死了。

4.条件随机场

  其实条件随机场是一种更给力的“naive bayes classfier"。 之前在学习朴素贝叶斯分类器的时候,其实我一直有疑问,直观上如果是推测 Y 的种类,我们使用了P(y,x1,x2,x3,x4....)这样的概率。但是这并不符合我们的直觉啊,因为我们基于证据进行推理,那么应该计算的是P(y|x1,x2,x3,x4.....)。我的直觉确实是对的, 当x1,x2,x3,x4之间,不存在相关性的时候,朴素贝叶斯的联合概率和后面的条件概率性质上是等价的。但是一旦x1,x2,x3,x4存在相关性,那么联合概率密度函数就不能基于朴素贝叶斯的假设来求了。会导致结果的畸形。

  但是条件概率公式是没有问题的,因为条件概率中,并不在意x1中是否也给出了x2的信息。总之那都是条件,条件重复了对结果没有影响。那么我们想个办法把朴素贝叶斯分类器的换掉不就好了,这个换掉的方法就是条件随机场。代价是它不能使用x1,x2.....的独立假设,不能用x随机变量因子连乘的形式给出p(y,x1,x2.....)。

  

  在这里,我假设了x 变量各种爱恨纠葛,总之就是纠缠在一起了。但是这不要紧啊,我们把每个团都设成 Φ(Y,Xi)就好了。Gibbs同一个图分布有多种表达方式,影响是可以通过节点逆向互相传递的。每个团的势,相当于是 xi 对 Y 的影响,机器学习里面用了很高明的方法把 xi 变成开关量,势函数变成了开关量乘以权重再取指数。最后训练得到权重。  

  Φ(y,x1,x2,x3.....) 可以由Gibbs分布给出。那么我们只需要找到Φ(x1,x2,x3.......)作为分母就好。这个分母也很好求,只要把 y 边际掉就好了。结果如下:

  这样,我们就可以用条件随机场来分割图像了。因为我们选的图像特征是很相关的:颜色,纹理,位置(比如正常的场景上面就会是蓝色(天),下面往往是黑的(影子))。抛开了朴素贝叶斯模型的独立假设,条件随机场这种特殊的马尔科夫模型对特征不敏感,怪不得说the sink can be the feature............

 

 

 

 

 

 

 

posted @ 2016-01-13 19:35 IronStark 阅读(...) 评论(...) 编辑 收藏