CRF 条件随机场

*********************************原文   https://www.cnblogs.com/dplearning/p/10060130.html   *******************************************************

基本概念

1  场是什么

场就是一个联合概率分布。比如有3个变量，y1,y2,y3, 取值范围是{0,1}。联合概率分布就是{P(y2=0|y1=0,y3=0), P(y3=0|y1=0,y2=0), P(y2=0|y1=1,y3=0), P(y3=0|y1=1,y2=0), ...}

2  马尔科夫随机场

如果场中的变量只受相邻变量的影响，而与其他变量无法，则这样的场叫做马尔科夫随机场。

如下图，绿色点变量的取值只受周围相邻的红色点变量的影响，与其他变量无关。

 

 3  条件随机场

有随机变量X(x1,x2)  Y(y1,y2)，在给定x的条件下y的概率分布P(Y|X).如果该分布满足马尔科夫性，即之和相邻变量有关，则称为条件随机场。

如下图，与马尔科夫随机场的区别是多了一个条件X

 

 4  线性链条件随机场

随机变量x成线性，即每个变量之和前后变量相关

当条件x和变量y的形式相同时，就是如下图所示的线性条件随机场。该形式也是最常见的。广泛用于词性标注，命名实体标注等问题。

 

 对于词性标注来说，x就是输入语句中的每一个字，y就是输出的每个字的词性。

线性链条件随机场的表示

 

 

****************************************************************************************************************************************************

条件随机场  就是对给定的输出标志y和可观察序列x，条件随机场通过条件概率P(x|y)，而不是联合概率p(x,y),是一个判别模型。

目标函数，根据最大似然函数，在给定似然函数估计的参数w，最大化训练集D的似然概率