贝叶斯推断

贝叶斯推断

贝叶斯推断是一种统计学方法，用来估计统计的某种性质。

他是贝叶斯定理的应用。英国数学家托马斯·贝叶斯在1763年发表的一篇文章中，首先提出了这个定理。

贝叶斯推断与其它统计学方法截然不同。它建立在主管判断的基础上，也就是说，你可以不需要客观证据，先估计一个值，然后根据实际结果不断修正。

贝叶斯推断需要大量的计算，因此历史上很长一段时间，无法得到广泛应用。只有计算机诞生以后，它才获得真正的重视。人们发现，许多统计量是无法事先进行客观判断的，而互联网时代出现的大型数据集，再加上告诉运算能力，为验证这些统计计量提供了方便，也为应用贝叶斯推断创造了条件。

1、贝叶斯定理

1）条件概率公式

P(A|B)=P(A∩B)/P(B)

→P(A∩B)=P(A|B)P(B)

→P(A∩B)=P(B|A)P(A)

→P(A|B)P(B)=P(B|A)P(A)

→P(A|B)=P(B|A)P(A) / P(B)

2）全概率公式

A 与 A`构成样本空间S，B为分布在样本空间上的一部分

P(B)=P(B∩A)+P(B∩A`)

→P(B)=P(B|A)P(A)+P(B|A`)P(A`)

→P(A|B)=P(B|A)P(A) / P(B|A)P(A)+P(B|A`)P(A`)

2、贝叶斯推断

由上面的贝叶斯定理可导出：

P(A|B)=P(A) * ( P(B|A) / P(B) )

 

P(A)称为 先验概率 (Prior probability)

在B事件发生之前，我们队A时间概率的一个判断。

 

P(A|B)称为 后验概率 (Posterior probability)

在B事件发生之后，我们队A事件概率的重新评估。

 

P(B|A) / P(B) 称为 可能性函数 (Likelyhood)

这是一个调整因子，使得预估概率更接近真实概率。

 

上述式子可以理解成：

后验概率 = 先验概率 * 调整因子

 

贝叶死推断的含义：

我们先预估一个“先验概率”，然后加入实验结果，看这个实验到底是增强了还是消弱了“先验概率”，由此得到更接近事实的“后验概率”。

如果可能性函数 Likelyhood > 1，意味着“先验概率”被增强，事件A的发生的可能性变大；如果 Likelyhood = 1，意味着B事件无助于判断A的可能性；如果 Likelyhood < 1，意味着“先验概率” 被削弱，事件A的可能性变小。