先验概率与后验概率：从全概率公式到贝叶斯公式

一、全概率公式与贝叶斯公式

在介绍先验、后验概率之前，我们先来复习一下全概率公式和贝叶斯公式。

全概率公式：设事件 B1,B2,…,BnB1​,B2​,…,Bn​ 构成一个完备事件组，即它们两两不相容，和为全集且 P(Bi)>0P(Bi​)>0，则对任一事件 AA 有：

 

可以看出，全概率公式体现的是“由因推果”的思想：在已知各个原因 BiBi​ 及其先验概率 P(Bi)P(Bi​) 的条件下，推断结果 AA 发生的总概率。

贝叶斯公式：符号定义与全概率公式相同，则：

 需要说明的是，贝叶斯公式常被通俗地描述为“由果溯因”的思想。更严谨地说，它是在观察到结果 AA 之后，对各个原因 BiBi​ 的概率进行修正：把原因 BiBi​ 的先验概率 P(Bi)P(Bi​)，结合“在原因 BiBi​ 下观察到结果 AA 的可能性”P(A∣Bi)P(A∣Bi​)，更新为后验概率 P(Bi∣A)P(Bi​∣A)。它本质上是一个条件概率的转换与概率更新过程，而不是在逻辑上严格地从结果“推导”出原因。

二、先验概率与后验概率

先验概率（prior probability）：指根据以往经验和分析，在实验或采样前就可以得到的概率。它反映的是在获得新证据之前，我们对某个事件发生可能性的初始估计。

后验概率（posterior probability）：指在获得新证据（某件事已经发生）之后，对事件发生原因的概率进行修正后得到的概率。它体现的是贝叶斯公式所表达的“在结果已知的条件下更新原因概率”的思想。

这里需要特别强调一点：先验和后验是相对于“当前这一次证据”而言的相对概念。今天的后验概率，可以作为下一次实验的先验概率。贝叶斯更新是一个迭代的过程：先验 → 观察数据 → 后验 → 作为新的先验 → 观察新数据 → 新的后验……如此循环。

下面我们通过 PRML（Pattern Recognition and Machine Learning）这本书中的例子来理解一下上面的定义。

三、一个经典例子：水果盒子

假设我们现在有两个盒子，分别为红色和蓝色。在红色盒子中放着 2 个苹果和 6 个橙子，在蓝色盒子中放着 1 个橙子和 3 个苹果，如下图所示：

（图中绿色表示苹果，橙色代表橙子。）

假设我们每次实验的时候会随机从某个盒子里挑出一个水果，随机变量 BB（box）表示挑出的是哪个盒子，并且 P(B=blue)=0.6P(B=blue)=0.6（蓝色盒子被选中的概率），P(B=red)=0.4P(B=red)=0.4（红色盒子被选中的概率）。随机变量 FF（fruit）表示挑中的是哪种水果，FF 的取值为 “a (apple)” 和 “o (orange)”。

现在假设我们已经得知某次实验中挑出的水果是 orange，那么这个 orange 是从红色盒子里挑出的概率是多大呢？依据贝叶斯公式有：

 ​

同时，由全概率公式我们可以得到：

 

把具体数字代入：

 

在上面的计算过程中，我们将 P(B=red)=0.4 和 P(B=blue)=0.6 称为先验概率，因为我们在得到 F 是 “a” 或者 “o” 之前，就可以得到 P(B)。同理，将 P(B=red∣F=o)≈0.667 和 P(B=blue∣F=o)≈0.333 称为后验概率，因为我们在完整的一次实验之后、也就是得到了 F 的具体取值之后，才能得到这个概率。

 

四、为什么后验概率和先验概率不一样？

 

这是理解先验与后验区别的关键，也是很多初学者容易忽略的地方。在这个例子里：

 

0.4 先验：红色盒子被选中的概率是 0.4

 

0.667后验：已知挑出的是橙子后，红色盒子被选中的概率变成了约 0.667

为什么变大了？

6/8=0.751/4=0.25 因为红色盒子里橙子的比例更高（6/8=0.75），而蓝色盒子里橙子的比例较低（1/4=0.25）。所以“挑出橙子”这个证据，增加了“来自红色盒子”的可能性。这就是贝叶斯更新的直观含义：证据会改变我们对原因的判断，改变的方向取决于这个证据在哪个原因下更可能出现。

 

3/4=0.752/8=0.25反过来，如果已知挑出的是苹果，那么蓝色盒子的后验概率会变大，因为蓝色盒子里苹果的比例更高（3/4=0.75，红色盒子只有 2/8=0.25）。

 

五、一个常见误区：“由果溯因”的说法

 

贝叶斯公式常被通俗地描述为“由果溯因”，这个说法在直觉上很流行，但在严格的概率论表述上并不严谨。

 

P(B∣A)=P(A∣B)P(B)/P(A)P(A∣B)P(B∣A)贝叶斯公式 P(B∣A)=P(A∣B)P(B)/P(A) 在数学上是一个条件概率的转换。它并没有“创造”一个新的因果关系，只是把 P(A∣B) 和 P(B∣A) 这两个条件概率联系了起来。

 

AB“由果溯因”这个说法容易让人产生一种误解，好像贝叶斯公式本身是在做因果推断。实际上，它只是在已知结果 A 发生的条件下，重新分配各个原因 B 的概率权重。真正的因果推断需要额外的因果假设，不能仅靠贝叶斯公式完成。

 

所以，更准确的说法是：贝叶斯公式是在观察到结果后，对原因的概率进行修正（从先验更新为后验），而不是在逻辑上“从结果推导出原因”。

 

六、与机器学习的联系

 

在机器学习中，先验概率和后验概率的概念无处不在：

先验概率

往往对应我们对模型参数的初始假设。比如正则化项，本质上就是对参数施加了一个先验分布（如 L2 正则对应高斯先验）。

后验概率

则对应在观测到数据之后，对参数的更新估计。贝叶斯方法的核心，就是不断用数据把先验更新为后验。

 

P(Y)XP(Y∣X)以朴素贝叶斯分类器为例：类别的先验概率 P(Y) 来自训练数据中各类别的比例；而在给定一个样本特征 X 后，计算出的 P(Y∣X) 就是后验概率，分类器最终选择后验概率最大的类别作为预测结果。这正是贝叶斯公式在机器学习中最直接的应用。

 

七、总结

 

本文介绍了先验概率和后验概率的基本概念：

先验概率

是在获得新证据之前，对事件发生可能性的初始估计。

后验概率

是在获得新证据之后，对原因概率进行修正后得到的结果。

 

两者通过贝叶斯公式联系起来，贝叶斯公式本质上是一个概率更新过程，而非严格的因果推断。

 

先验和后验是相对概念，后验可以作为下一次更新的先验，形成迭代。