统计语言模型(Statistical Language Models)（条件概率公式）
Posted on 2009-01-15 22:32 Zhiyett 阅读(603) 评论(0) 编辑 收藏 举报统计语言模型 (Statistical Language Models)
条件概率公式P(s)=P(w1)P(w2|w1)p(w3|w1w2)...P(wn|w1w2...wn-1)
其中 P (w1) 表示第一个词w1 出现的概率；P (w2|w1) 是在已知第一个词的前提下，第二个词出现的概率；以次类推。不难看出，到了词wn，它的出现概率取决于它前面所有词。从计算上来看，各种可能性太多，无法实现。因此我们假定任意一个词wi的出现概率只同它前面的词 wi-1 有关(即马尔可夫假设），于是问题就变得很简单了。现在，S 出现的概率就变为：
P(S) = P(w1)P(w2|w1)P(w3|w2)…P(wi|wi-1)…
接下来的问题就是如何估计 P (wi|wi-1)。现在有了大量机读文本后，这个问题变得很简单，只要数一数这对词（wi-1,wi) 在统计的文本中出现了多少次，以及 wi-1 本身在同样的文本中前后相邻出现了多少次，然后用两个数一除就可以了P(wi|wi-1) = P(wi-1,wi)/P(wi-1)
P(X)p(Y|X)
P(X|Y) = -----------
P(Y)
