SciTech-Mathmatics-Proba. & Stats.: {先验概率, 联合概率, 条件概率, 全概率, 似然度, 后验概率}

SciTech-Mathmatics-Proba. & Stats.:

P(AB) VS P(B|A) VS P(A|B)

先给结论：
联合概率讨论的是“不相关事件”的概率，
条件概率讨论的是“相关事件”的概率。

• 联合概率: 讨论的是“不相关事件”的概率，
  事件同时发生的概率，例如: A,B两个事件同时发生的概率，
  记为P(A,B)、P(A∩B)、P(AB)。
  若事件A和事件B相互独立，则有: P(A,B) = P(A)P(B)
  例如,
  事件A: "明天晴天", 假设其发生概率为0.5;
  事件B: "明天升级", 假设其概率为0.001，
  由于事件A和B并没有什么相互影响, 是相互独立的，
  那么 "明天既是晴天也升级" 的概率就是: P(A)P(B) = 0.0005

• 条件概率: 讨论的是“相关事件”的概率
  条件概率是表示一个事件为前提发生后，另一个事件发生的概率。
  一般，B表示某一个因素，A表示结果，P(A|B)表示在 因素B 为前提条件下，A发生的概率，即由因求果。

• 先验概率: 基于 统计(背景常识、历史数据) 和/或 主观判断 得出的 预判概率，
  一般只包含一个变量，例如P(A)，P(B)。

理解 联合概率 与 条件概率

联合概率 与 条件概率

在讨论 联合概率 和 条件概率 之前，我们应该更多地了解Event(事件)。

1. Event事件
   事件是实验的一组结果（一个或多个）。
   事件举例: "扔硬币时反面", "一副纸牌选择国王(国王的任何一个)", "roll到5"等。
   事件定义：

   • 独立: 每个事件都不受其他事件影响。
     例: 抛硬币两次。第一次扔硬币的结果, 不会影响第二个事件的结果。
   • 相关(也称为条件): 事件受其他事件影响。
     例: 一副牌抽出2张牌。卡组拿出一张卡片后, 可用卡片就更少, 因此概率会改变！
   • 互斥: 两个事件不能同时发生。
     例：我们可以在同一球场同时 踢足球 和 橄榄球。

2. 概率
   概率: 事件发生的可能性。
   如果"无法完全确定" 地 "准确预测事件的发生", 我们最好 "使用概率的概念"表示"事件发生的可能性"。
   先给结论:

   • 联合概率: 讨论的是 "不相关事件" 的概率，
   • 条件概率: 讨论的是 "相关事件" 的概率。

3. 联合概率
   在同一时间 P(A和B) 发生事件的可能性。即: 事件A和事件B一起发生的概率。
   它是两个或多个事件相交的概率，记为P(A∩B)。
   例:
   "一张牌是红色4" = P(红4)= 2/52 = 1/26 的概率。
   52个牌组, 有两个红色4号: 心形4一个, 钻石4一个。

4. 联合概率的条件
   "联合概率" 不能用于描述 "一个事件的发生"多大程度上影响"另一事件的发生"。

   • 事件X和Y必须相互独立: "事件X的结果" 不会影响 "事件Y的结果"。
     如果满足以上条件，则P(A∩B)= P(A) * P(B)，例: 掷两次骰子。
   • 事件X和Y必须同时发生。
     例: 同时投掷两个骰子。

5. 引入条件概率

   • 如果我们发现两个“相关事件”的 "联合概率"l"，将会发生什么？
     事件X: "天空有云"，事件Y: "下雨"。X与Y不相互独立(X会影响Y).
     因为, 每个人都知道雨水来自云层, 只有"天空有云"时才能"下雨"。
     因此, X和Y(两个相关事件)的联合概率将为P(Y).
   • "联合概率" 不能用于描述 "一个事件的发生"多大程度上影响"另一事件的发生"
     如上例: X(有云)的 1 和 0, 下雨的概率为P(Y), 无云不下雨, 所以联合概率为P(Y)。
     因为两个事件不能同时发生, "两个不相交事件"的"联合概率"将是0。
   • 除非确定 "一个事件的发生在多大程度上影响另一个事件的发生",
     否则, 我们无法正确地找到两个事件的联合概率。
     条件概率的出现解决了这个问题。

6. 条件概率 P(B|A):
   条件概率是在 "已知事件A已经发生"的情况下, 事件B将发生的概率, 用 \(\large P(B|A)\) 表示。
   "两个相互有影响的事件" 的 "联合概率" 变为\(\large P(A 和 B) = P(A) P(B|A)\)

Bayes Theorem

由条件概率 P(A 和 B) = P(A) P(B|A)得出:
\(\large \begin{array}{lll} \\ \because & P(BA) & = P(A) P(B|A) \\ & \ P(AB) & = P(B) P(A|B) \\ & P(BA) & = P(AB) \\ \therefore & \bf{ P(B|A) } & \bf{ = \dfrac{P(BA)}{P(A)} =P(B) \times \dfrac{ P(A|B)}{P(A)} } \\ \end{array}\)

这就是Bayes Theorem, 它表示: "给定事件A发生 时 "事件B发生 " 的频率, 记为\(\large P(B|A)\).
当知道 "给定事件B发生 时 "事件A发生 " 的概率, 记为\(\large P(A|B)\).

1. 用机器学习术语表示:
   A 改为 "H(Hypothesis, 先验)", B改为 "E(Evidence,证据)", 则:
   $\large \bf{ P(H|E) = \dfrac{P(HE)}{P(E)} = P(H) \times \dfrac{P(E|H)}{P(E)} } $

   • \(\large \bf{ \text{ P(H): 先验(假设)概率, 根据 经验 和/或 主观判断 给出的, 只 } }\),
   • \(\large \bf{ \text{ P(H|E): 后验(既有证据)概率, 采集到的证据(事实), 可能超出人的"主观判断". } }\)
   • \(\large \bf{ \text{ 先验(主观假设)概率 与 后验概率(既有证据) } } 是 \bf{ \text{ 相关 的 } }\),
     \(\large \bf{ \text{ 两者的相关因素 } }: \bf{ \dfrac{P(E|H)}{P(E)} } 称为 \bf{ \text{ 似然比 }}\)。
   • \(\large \bf{ \text{ Bayes Theorem 指出 后验概率 等于 先验概率 乘以 似然比} }\).

2. \(\large \bf{ \text{ P(H):先验(假设)概率 } }\) 和 \(\large \bf{ \text{ P(H|E): 后验(既有证据)概率 } }\)
   \(\large \bf{ \text{ P(H|E): 后验(既有证据)概率 } }\): 所有证据被采用之后, 事件H(假设)发生的概率;
   \(\large \bf{ \text{ P(H):先验(假设)概率 } }\): 未采用证据之前, 事件H(假设)发生的概率, 根据"经验和/或主观判断给出";
   \(\large \begin{array}{lll} 您可以 \bf{ \text{ 将 后验概率 视为 对先验概率的调整 } } \\ \bf{ 后验 = 先验 \times \dfrac{可能性}{证据} } \\ \end{array}\)

3. \(\large \bf{ \text{ H(Hypothesis, 假设), E(Evidence, 证据) 和 P(Possibility,可能性) }}\)
   \(\large \bf{ \text{ H(Hypothesis, 假设) } }\) 是您对 "即将发生的事情" 的 "猜测", 是一个"可检验"的"断言"。
   \(\large \bf{ \text{ E(Evidence, 证据) } }\) 可以支持或反对 \(\large \bf{ \text{ H(Hypothesis, 假设) } }\)。
   \(\large \bf{ \text{ 似然性 是 一件事会发生的机会或可能性 }}\)。