贝叶斯公式与贝叶斯估计[原创www.cnblogs.com/helesheng]

一、贝叶斯公式的来由和基本解释

贝叶斯公式是从条件概率的定义式产生的，即：

\[P(A|B)=\frac{P(AB)}{P(B)} \tag 1 \]

其含义是：在B发生的条件下发生A的概率等于A、B同时发生的概率除以B发生的概率。
交换右侧分子中相与的两个随机变量的顺序，并反向再次使用公式（1），得到贝叶斯公式的第一种常见表达形式：

\[P(A|B)=\frac{P(B|A) \times P(A)}{P(B)} \tag 2 \]

从上式可以看出，形式上，贝叶斯公式的作用是交换了条件概率中条件B和概率事件A的位置。（2）中:
左侧的P(A|B)是计算的目的，称为 “后验概率” ，它表示在 看到数据 B之后 ，我们对 参数A 的新认知。是先验概率P(A)在新证据B作用下的更新。
P(A)称为先验概率，即没有证据B之前，对A的认知更新之后的概率。
P(B|A)称为似然度 / 似然函数，即条件B和概率事件A交换位置的概率，表示B这个事件对A这个事件的解释能力。似然度越大表示B这个数据对A这个参数的解释度。
P(B)称为 “边缘似然” 或 “证据概率”，是B事件/证据发生的可能性。

二、贝叶斯公式分母的处理

公式（2）中证据概率P(B)不容易求，经常有两种处理手段：
手段1：全概率公式展开分母P(B)

\[P(A_i​|B)=\frac{ ​P(B|A_i​)P(A_i​)}{\displaystyle\sum_{j=1}^{n} P(B|A_j)P(A_j)​} \tag 3 \]

手段2 ：分母P(B)通常是个 常数 ，经常将其省略，只用成正比的表达式：

\[P(A|B) \propto P(B|A)P(A) \tag 4 \]

或表示为：

\[后验概率 \propto 似然度 \times 先验概率 \]

三、贝叶斯估计

所谓“估计”指通过（2）估计发生了事件B后参数A的变化。
在实际应用中，将参数A写为\(\theta\)，发生的事件B写为D（使用D表示Data更符合专业惯例），（2）变为：

\[P(\theta|D)=\frac{P(D|\theta) \times P(\theta)}{P(D)} \tag 5 \]

贝叶斯估计核心的哲学思想是：当我们对事物(参数)\(\theta\)的认知不足时，通常会根据事件(D)的发生来纠正对就有参数\(\theta\)的估计。
其中，就有的对参数的认知是先验概率\(P(\theta)\)；而事件D发生后，对它纠正后的结果是后验概率\(P(\theta|D)\)；纠正参数的变化率是似然度\(P(D|\theta)\)。而为了满足参数的所有概率之和为1的归一性（和为1），对后验概率乘以一个常数\(\frac{1}{P(D)}\)。

四、举例

在所有人群中某传染病的感染概率为0.001（千分之一），该传染病的检测准确率为0.99（感染者被检测为阳性，以及未感染者被检测为阴性的概率都是0.99）。问某人被检测为阳性后，他真的感染该传染病的概率为多大？
解：
该人被感染的概率\(P(\theta)\)在检测前为人群平均概率0.001，但发生了他被检测为阳性这件事D后，其被感染的概率\(P(\theta | D)\)必然会改变，对该参数的新估计值用（5）计算。

\[\begin{align*} P(\theta|D) &=\frac{P(D|\theta) \times P(\theta)}{P(D)}\\ &=\frac{0.99 \times 0.001}{P(D)} \end{align*} \]

上式中P(D)，也就是全部人群被检测为阳性的概率不容易计算。采用全概率公式求P(D)，也就是对感染人员检测为阳性的概率和非感染人员被检测为阳性的概率计算算术平均(即下面的（6）式)。

\[\begin{align*} P(\theta|D) &=\frac{0.99 \times 0.001}{P(D)} \\ &=\frac{0.99 \times 0.001}{P(D|\theta)P(\theta) + P(D|\bar\theta)P(\bar\theta)} \tag 6\\ &=\frac{0.99 \times 0.001}{0.99 \times 0.001 + 0.01 \times 0.999}\\ &\approx 0.0902 \end{align*} \]

也就是经过事件（检测为阳性）后，对感染这个参数\(\theta\)的估计变为了9.02%
这个结果与直觉之间存在较大差距：即使被检测为阳性，真被感染的概率也只有9%左右。但这是由于未感染人群过大，导致未感染而被误检测为阳性的人\(P(D|\bar\theta)P(\bar\theta)\)过多导致的。