概率与不确定性（乘法法则与贝叶斯法则）

乘法法则：

P(a,b)=P(a|b)P(b)

也许很容易记忆：它源于这样的事实，即要使a 和b 同时为真，我们需要b为真，而且我们需要在已知b的条件下 a 也为真。

我们也可以调换 a和 b 的位置得到： P(a,b)=P(b|a)P(a)

 

乘法原则，根据合取式的可交换性指出它可以写成两种形式：

P(a,b)=P(a|b)P(b)

 P(a,b)=P(b|a)P(a)

令上面两个式子的右边相等，然后同时除以 P(a)：

P(a|b)P(b)=P(b|a)P(a)

P(a|b)P(b)/P(a)=P(b|a)

P(b|a)=P(a|b)P(b)/P(a)====>>>贝叶斯法则/贝叶斯定律/定理

这个简单的公式是几乎所有概率推理的现代人工智能系统的基础。

 

一般情况，写成：P(Y|X)=P(X|Y)P(Y)/P(X)

 

并且，这个式子同样表示一组公式，每个公式处理变量的特定取值。还有某些场合要在某个背景证据 e 上使用一个更通用版本的条件化公式：

P(Y|X,e)=P(X|Y,e)P(Y,e)/P(X,e)

表面上看，贝叶斯法则需要3个项——1个条件概率和2个无条件概率——仅仅为了计算另一个条件概率。

 

贝叶斯法则运用：

Useful for assessing diagnostic probability from causal probability:

P(Cause|Effect) = P(Effect|Cause) P(Cause) / P(Effect)

 

E.g., let M be meningitis, S be stiff neck:

P(m|s) = P(s|m) P(m) / P(s) = 0.8 × 0.0001 / 0.1 = 0.0008

Note: posterior probability of meningitis still very small !

 

朴素贝叶斯模型：

一个牙科的例子说明了一类普遍出现的模式，在其中单个原因直接影响许多结果，所有这些结果在给定原因时都是彼此条件独立的（在给定原因时，结果之间相互独立）。全联合分布可以写成如下被称为朴素贝叶斯模型的概率分布（其中，Cause 表示原因，Effict_i 表示第 i 个结果）。

 

“朴素”是因为这个模型经常用于（作为模型的简化假设）“结果”变量在给定变量下不是条件独立的情况。

（朴素贝叶斯模型有时被称为贝叶斯分类器，一个多少有些粗心的用法，促使一些真正的贝叶斯支持者们将其称为傻瓜贝叶斯模型。）

在实际中，基于朴素贝叶斯模型的系统工作得令人惊讶的好——即使当独立性假设不成立时。

 

域中直接因果关系产生的条件独立性可能允许将全联合分布分解成较小的条件概率。朴素贝叶斯模型假设在给定单一的原因变量后，所有的结果变量都是条件独立的，其规模随结果个数呈线性增长。 

 

 

 

【References】

[1]  Artificial Intelligence _A Modern Approach(Second Edition)