概率与期望

概率与期望

Update on 2024/11/07。

约定

文中 \(A,B \dots\) 无特殊说明下意义为事件。

事件

事件 \(A\) 是否发生取决于一系列影响它的因素，这些因素影响 \(A\) 的过程被称为一次 \(experiment\) \(OR\) \(trial\)。

一次试验的 \(result\) 称为其 \(outcome\)。

• \(result\) 指由于原因所引起的结果。

• \(outcome\) 强调事件特有的结局，表示最终的结果。

Definition:

一次试验所有可能结果组成的集合称为 \(sample\) \(space\) （样本空间），记作 \(\Omega\)。

可以使用集合论中符号描述事件间关系：


事件是样本空间 \(\Omega\) 的子集，但是 \(\Omega\) 的子集不一定表示事件。解释困难。

概率

记 \(\N(A)\) 表示 \(A\) 发生的次数。

在试验次数 \(N\) 极大时，事件 \(A\) 的发生比例趋近一个常数。

\[\lim_{n\to\infty}\frac{\N(A)}N=\text{A constant value} \]

我们用这个极限值描述 \(A\) 在试验中发生的概率是 \(\mathbb{P}(A)\)，显然这个概率值在 \(0\sim 1\) 之间。

设 \(A,B\) 是两个不相容的事件，那么

\[\N(A\cup B)=\N(A)+\N(B) \]

因此事件 \(A\cup B\) 发生的概率可以表示为

\[\mathbb{P}(A\cup B)=\mathbb{P}(A)+\mathbb{P}(B) \]

Lemma:

概率函数 \(\mathbb{P}\) 具有 \(finitely\) $ additive$ (有穷可加性)，即

\[A_1,A_2,\ldots,A_n\text{ are disjoint}\Rightarrow\mathbb{P}\left(\bigcup_{i=1}^nA_i\right)=\sum_{i=1}^n\mathbb{P}\left(A_i\right) \]

Lemma:

对于事件 \(A\)，有

\[\mathbb{P}(A^c)=1-\mathbb{P}(A) \]

Proof:

我们知道

\[A \cup A^c=\Omega，A \cap A^c=\O \]

所以 \(A\) 和 \(A^c\) 不相容，据有穷可加性，

\[\mathbb{P}(A \cup A^c)=\mathbb{P}(A)+\mathbb{P}(A^c)=1 \]

证毕。

Lemma:

对于两事件 \(A,B\)，若 \(A \subset B\)，那么

\[\mathbb{P}(B)=\mathbb{P}(A)+\mathbb{P}(B-A) \geqslant \mathbb{P}(A) \]

Proof:

引理中，

\[B=A\cup(B-A) \]

且 \(A\) 与 \(B-A\) 不相容，所以

\[\mathbb{P}(B)=\mathbb{P}(A)+\mathbb{P}(B-A) \geqslant \mathbb{P}(A) \]

证毕。

Theorem（概率的容斥）

对于 \(n\) 个事件 \(A_1,A_2,A_3 \dots A_n\)，有

\[\mathbb{P}(\bigcup\limits_{i=1}^{n}A_i)=\sum\limits_{i} \mathbb{P}(A_i)-\sum \limits_{i<j}\mathbb{P}(A_i \cap A_j) + \sum\limits_{i<j<k}\mathbb{P}(A_i \cap A_j \cap A_k)-\dots+(-1)^{n+1}\mathbb{P}(A_1 \cap A_2 \cap \dots \cap A_n) \]

不可能事件概率 \(\mathbb{P}(\O)=0\)。

必然事件概率 \(\mathbb{P}(\Omega)=1\)。

但是反过来不成立，概率为 \(0\) 事件并不是不可能事件。

比如扔飞镖落在靶子上任何点概率为 \(0\)，但是对应事件确实可能发生。

条件概率

if B occurs, then the probability of A is p.

\(A,B\) 为两事件，\(p\) 是描述概率的量或形容词。

\[\frac {\N(A\cap B)}{\N(B)}=\frac{\frac{\N(A\cap B)}{\N}}{\frac{\N(B)}{\N}} \]

所以 \(B\) 发生前提下 \(A\) 发生概率为

\[\frac{\mathbb{P}(A\cap B)}{\mathbb{P}(B)} \]

Definition

若 \(\mathbb{P}(B)>0\)，那么 conditional probability（条件概率）\(\mathbb{P}(A|B)\) 定义为上式。

全概率公式

Theorem

对于 \(A\)，\(B_i\) 是 \(\Omega\) 的一个划分且 \(0<\mathbb{P}(B_i)\)，有

\[\mathbb{P}(A)=\sum\limits_{i=1}^{n}\mathbb{P}(A|B_i)\mathbb{P}(B_i) \]

贝叶斯公式

Bayes formula
若\(A_1,A_2,\ldots,A_n\)为 Ω 的一个划分，则

\[\mathbb{P}\left(A_j|B\right)=\frac{\mathbb{P}\left(B|A_j\right)\mathbb{P}\left(A_j\right)}{\sum_{i=1}^n\mathbb{P}\left(B|A_i\right)\mathbb{P}\left(A_i\right)} \]

据条件概率定义，我们知道

\[\mathbb{P}(A_j|B)\mathbb{P}(B)=\mathbb{P}(B|A_j)\mathbb{P}(A_j) \]

把 \(\mathbb{P}(B)\) 用全概率展开再对式子变形即可。

全概率公式本质是拆分子事件而求出 \(A\) 的概率，贝叶斯公式相反。

高尔顿悖论

看到结果时试验结束，硬币状态确定，形成不等概率结果。

赌徒破产

描述

A 和 B 两个赌徒，各选择硬币的一面：如果过正面朝上，A 赢，B 给 A 一块钱；反面朝上，B 赢，A 给 B 一块钱。两人一直这样不停地赌博，当其中一方的钱全输光时，游戏结束。

正面朝上的可能性是 \(p\)，反面朝上的可能性是 \(q=1-p\)。

问题

A赢得全部的钱的概率是多少？

解决

设 A 一开始有 \(i\) 块钱， B 有 \((N-i)\) 块钱，即 \(N\) 为 A 和 B 开场资金的总和。

设 \(P_{i}\) 为在 A 有 \(i\) 块的时候，A 赢走所有钱的可能性。

解决关键公式：

\[P_{i} = p \times P_{i+1} + q \times P_{i-1} \]

全概率公式 \((Law of Total Probability)\)。

右边解读为：

\(P(A 赢下所有钱|A赢了下一局) \times P(A赢了下一局) + P(A 赢下所有钱|A输了下一局) \times P(A输了下一局)\)

得到 \(p\times P_{i+1} + q \times P_{i-1}\)。

且 \(P_{0}=0 , P_{N} = 1\)。

若 \(N\) 较小，得到一个方程租，解 \(P_{i}\) 。

\(p\) 为 A 每一盘赢的可能性，\(q\) 为 B 每一盘赢的可能性。

显然 \(p+q=1\)。

这里我们就要把 赢得局数 看成钱，得到以下方程组：

\(P_{1} = 1\times p + P_{0} \times q\)

\(P_{0} = P_{1}\times p + P_{-1} \times q\)

\(P_{-1} = P_{0}\times p + 0 \times q\)

解出 \(P_{0} = \frac{p^{2}}{1-2p(1-p)}\)。

若 \(N\) 很大，列出式子，简化，得出：

\(P_{i}=\frac{1-(q/p)^{i}}{1-( q/p)^{N}}\) \(if\) \(p\ne0.5\)。

\(P_{i} = \frac{i}{N}\) \(if\) \(p = 0.5\)。

蒙提霍尔问题 / 三门问题

贝叶斯公式求解。

独立性

若 \(A,B\) 的发生不影响彼此概率，称其 \(indepentent\) （独立的）。

Lemma

\(A,B\) 独立，当且仅当

\[\mathbb{P}(A \cap B)=\mathbb{P}(A)\mathbb{P}(B) \]

独立 & 不相容

独立指对彼此发生概率无影响；不相容即无交集，不会同时发生。

随机变量

定义域为 \(\Omega\)，值域为 \(\R\)，表示试验结果的过程的函数称为 \(random\) \(variables\)（随机变量）。

用函数符号 \(X\) 等大写字母表示一个随机变量。

随机变量分布

我们希望得到试验结果的分布。 即 \(X\) 的所有取值的概率。

这就是随机变量 \(X\) 的概率分布。

数学期望

随机变量 \(X\) 刻画了试验结果，我们希望描述一次试验在平均情况下的表现，一个简单的想法就是把 \(X\) 的取值与对应的概率加权平均。

在概率论和统计学中，数学期望 (mathematic expectation)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。

随机变量 \(X\) 的 expectation（期望）或 mean （均值） 定义为

\[E(X) = ∑ \limits_{X=x} xP(X = x) \]

性质

4. 当 \(X\) 和 \(Y\) 相互独立时，

Proof：

设 \(x\) 的多个随机变量为 \(Ca_1,Ca_2,Ca_3...Ca_n\)。

对应的出现概率为 \(p_1,p_2,p_3...p_n\)。

那么对应的求期望的式子

\[E(CX)=C\sum_{i=1}^{n}(a_i\times p_i) \]

由于

\[E(X)=\sum_{i=1}^{n}(a_i\times p_i) \]

所以

\[E(CX)=C\times E(X) \]

对于随机变量 \(X\) 与函数 \(g\)，有

\[E(g(X)) = ∑ \limits_{x} g(x)P(X = x) \]

Proof：

$E(g(X)) = ∑ \limits_{y} yP(g(X) = y) = ∑ \limits_{y} ∑\limits_{x:g(x)=y} yP(X = x) = ∑ \limits_{x} g(x)P(X = x) $

Theorem

数学期望是线性的，即对于随机变量 \(X, Y\) 和 \(a, b\) ∈ \(\R\)，有

\[E(aX + bY) = aE(X) + bE(Y) \]

Proof：

$ E(aX + bY) = ∑ \limits_{x,y} (ax + by)P(X = x, Y = y) = a ∑ \limits_{x,y} xP(X = x, Y = y) + b ∑ \limits_{x,y} yP(X = x, Y = y) = a ∑ \limits_{x} xP(X = x) ∑ \limits_{y} P(Y = y) + b ∑ \limits_{x} P(X = x) ∑ \limits_{y} yP(Y = y) = a ∑ \limits_{x} xP(X = x) + b ∑ \limits_{y} yP(Y = y) = aE(X) + bE(Y) $