[转]衡量两个随机分布的差距-KL距离[自然语言处理]

利用信息论的方法可以进行一些简单的自然语言处理，比如利用相对熵进行分类或者是利用相对熵来衡量两个随机分布的差距，当两个随机分布相同时，其相对熵为0.当两个随机分布的差别增加时，器相对熵也增加。我们下面的实验是为了横量概率分布的差异。 

试验方法、要求和材料 
要求： 
    1.任意摘录一段文字，统计这段文字中所有字符的相对频率。假设这些相对频率就是这些字符的概率（即用相对频率代替概率）； 

    2.另取一段文字，按同样方法计算字符分布概率； 

    3.计算两段文字中字符分布的KL距离； 

    4.举例说明（任意找两个分布p和q）,KL距离是不对称的，即D(p//q)!=D(q//p); 

方法： 
D（p//q）=sum(p(x)*log(p(x)/q(x)))。其中p(x)和q(x)为两个概率分布 

约定 0*log(0/q(x))=0;p(x)*log(p(x)/0)=infinity; 

 

参考网址：http://finallyliuyu.iteye.com/blog/609462