概率期望

目录

• 事件
  • 单位事件、事件空间、随机事件
  • 事件的计算
• 概率
  • 定义
    • 古典定义
    • 统计定义
    • 公理化定义
  • 计算
• 随机变量
• 独立性
  • 随机事件的独立性
  • 随机变量的独立性
• 期望
  • 定义
  • 性质
• 常用的套路以及技巧
  • 前缀和技巧
  • 小例题 1
  • 小例题 2
• 拿球问题
  • 典例1
  • 典例2
  • 典例3
• 游走问题
  • 典例 1
  • 典例 2
  • 典例 3
  • 典例 4
  • 典例 5
• 经典问题
  • 典例 1
  • 典例 2
  • 典例 3
  • 典例 4
• 鸣谢

一些简单的概率论的基本概念，为了简单起见，本文中提到的所有集合都默认是 有限集 。

事件

单位事件、事件空间、随机事件

在一次随机试验 E 中可能发生的不能再细分的结果被称为 单位事件 。在随机试验中可能发生的所有单位事件的集合称为 事件空间 ，用 S 来表示。

也就是说，进行一次随机试验 \(E\) ，其结果一定符合 \(S\) 中的恰好一个元素，不可能是零个或多个。例如在一次掷骰子的随机试验中，如果用获得的点数来表示单位事件，那么一共可能出现 6 个单位事件，则事件空间可以表示为 \(S = \{1,2,3,4,5,6\}\) 。

一个 随机事件 是事件空间 \(S\) 的子集，它由事件空间 \(S\) 中的单位元素构成，用大写字母 \(A,B,C\dots\) 表示。例如在掷两个骰子的随机试验中，设随机事件 \(A\) 为“获得的点数和大于 10 ”，则 \(A\) 可以由下面 3 个单位事件组成： \(A = \{(5,6),(6,5),(6,6)\}\) 。

事件的计算

因为事件在一定程度上是以集合的含义定义的，因此可以把事件当作集合来对待。
和事件 ：相当于 并集 。若干个事件中只要其中之一发生，就算发生了它们的和事件。
积事件 ：相当于 交集 。若干个事件必须全部发生，才算发生了它们的积事件。

概率

定义

古典定义

如果一个试验满足两个条件：

• 试验只有有限个基本结果。
• 试验的每个基本结果出现的可能性是一样的。

这样的试验便是古典试验。 对于古典试验中的事件 \(A\) ，它的概率定义为 \(P(A) = \frac{m}{n}\) ，其中 \(n\) 表示该试验中所有可能出现的基本结果的总数目， \(m\) 表示事件 \(A\) 包含的试验基本结果数。

统计定义

如果在一定条件下，进行了 \(n\) 次试验，事件 \(A\) 发生了 \(N_A\) 次，如果随着 \(n\) 逐渐增大，频率 \(\frac{N_A}{n}\) 逐渐稳定在某一数值 \(p\) 附近，那么数值 \(p\) 称为事件 \(A\) 在该条件下发生的概率，记做 \(P(A) = p\) 。

公理化定义

设 \(E\) 为随机试验， \(S\) 为它的样本空间（事件空间的同义词）。对于 \(E\) 的每一个事件 \(A\) 赋予一个实数，记为 \(P(A)\)，称为事件 \(A\) 的概率。这里 \(P(A)\) 是一个集合从实数的映射， \(P(A)\) 满足一下公理：

• 非负性：对于一个事件 \(A\)，有概率 \(P(A) \in \lbrack0,1\rbrack\)。
• 规范性：样本空间的概率值为 1，即 \(P(S) = 1\)。
• 可加性：若 \(A \cap B = \emptyset\), 则 \(P(A \cup B) = P(A) + P(B)\)。

由 \((S,P)\) 构成的这样一个系统称为一个 概率空间。

计算

• 广义加法公式：对于任意两个事件 \(A,B\)， \(P(A \cup B) = P(A) + P(B) - P(A \cap B)\)。
• 条件概率：记 \(P(B \mid A)\) 表示在 \(A\) 事件发生的前提下， \(B\) 事件发生的概率。则 \(P(B \mid A) = \frac{P(AB)}{P(A)}\)(其中 \(P(AB)\) 为事件 \(A\) 和事件 \(B\) 同时发生的概率)。
• 乘法公式：\(P(AB) = P(A) \cdot P(B \mid A) = P(B) \cdot P(A \mid B)\)
• 全概率公式：若事件 \(A_!,A_2,A_3.\dots,A_n\) 构成一组完备的事件且都有正概率，即 $\forall i,j,A_i \cap A_j = \emptyset $ 且 \(\sum_{i = 1}^n A_i = 1\)， 则有 \(P(B) = \sum_{i=1} ^nP(A_i)P(B \mid A_i)\)。
• 贝叶斯定理：\(P(B_i \mid A) = \dfrac{P(B_i) P(A \mid B_i)}{\sum_{j = 1}^n P(B_j) P(A \mid B_j)}\)

随机变量

直观地说，一个随机变量，是一个取值由随机事件决定的变量。

如果基于概率的公理化定义，那么一个随机变量——形式化地说——是一个从样本空间 \(S\) 到实数集 \(\mathbb{R}\) （或者 \(\mathbb{R}\) 的某个子集）的映射 \(X\) 。如果 \(X(A) = \alpha\)，你可以直观理解为：当随机实验 \(E\) 取结果 \(A\) 时，该随机变量取值 \(\alpha\)。

由此可以看到，“随机变量 \(X\) 取值 \(\alpha\) ”（简记为 \(X = \alpha\)）也对应着一个能实现该命题的单位事件集合，因此它也是一个事件，于是也有与之对应的概率 \(P(X = \alpha)\)。

独立性

直观地说，我们认为两个东西独立，当它们在某种意义上互不影响。例如，一个人出生的年月日和他的性别，这两件事是独立的；但一个人出生的年月日和他现在的头发总量，这两件事就不是独立的，因为一个人往往年纪越大头发越少。

数学中的独立性与这种直观理解大体相似，但不尽相同。

随机事件的独立性

我们称两个事件 \(A.B\) 独立，当 \(P(A \cap B) = P(A) \cdot P(B)\)。

我们称若干个事件 \(A_{1,\dots,n}\) 互相独立，当对于其中的任何一个子集，该子集中的事件同时发生的概率，等于其中每个事件发生的概率的乘积。形象化的说：

\[P(\bigcap_{E \in T} E) = \prod_{E \in T} P(E). \forall T \subseteq \{A_1,A_2,\dots,A_n\} \]

由此可见，若干事件 两两独立 和 互相独立 是不同的概念。

随机变量的独立性

一下用 \(I(X)\) 表示随机变量 \(X\) 的取值范围。即，如果把 \(X\) 看做一个映射，则 \(I(X)\) 看做它的值域。

我们称两个随机变量 \(X,Y\) 独立，当 \(P((X = \alpha) \cap (Y = \beta)) = P(X = \alpha) P(Y = \beta)\), \(\forall \alpha \in I(x), \beta \in I(Y)\)，即 \((X,Y)\) 取任意一组值得概率，等于 \(X\) 和 \(Y\) 分别取对应值得概率的乘积。

我们称若干个随机变量 \(X_{1,\dots,n}\) 互相独立，当 \((X_1,X_2,\dots,X_n)\) 取任意一组值得概率，等于每个 \(X_i\) 分别取对应值的概率的乘积。形式化的说：

\[P\Big(\bigcap_{i = 1}^n X_i = F_i\Big) = \prod_{i = 1}^{n} P(X_i = F_i), \forall F_{1,\dots,n} s.t. F_i \in I(X_i) \]

由此可见，若干随机变量 两两独立 和 互相独立 是不同的概念。

期望

定义

如果一个随机变量的取值个数有限（比如一个表示骰子示数的随机变量），或可能的取值可以一一列举出来（比如取值范围为全体正整数），则它称为 离散型随机变量 。

形式化地说，一个随机变量被称为离散型随机变量，当它的值域大小 有限 或者为 可列无穷大 。

一个离散性随机变量 \(X\) 的 数学期望 是其每个取值乘以该取值对应概率的总和，记为 $E(X) $。

\[E(X) = \sum_{\alpha \in I(X)} \alpha \cdot P(X = \alpha) = \sum_{\omega \in S} X(\omega) \cdot Y(\omega) \]

其中 \(I(X)\) 表示随机变量 \(X\) 的值域，\(S\) 表示 \(X\) 所在概率空间的样本集合。

请读者自行验证连等式中的第二个等号。

性质

• 全期望公式： \(\displaystyle E(Y) = \sum_{\alpha \in I(X)} P(X = \alpha) \cdot E(Y \mid (X = \alpha))\)， 其中 \(X,Y\) 是随机变量，$E(Y \mid A) $ 是在 \(A\) 条件成立下 \(Y\) 的期望（即“条件期望”）。可由全概率公式证明。
• 期望的线性性 ：对于任意两个随机变量 \(X.Y\) （不要求相互独立），有 \(E(X+Y) = E(X) + E(Y)\) 。利用这个性质，可以将一个变量拆分成若干个互相独立的变量，分别求这些变量的期望值，最后相加得到所求变量的值。
• 乘积的期望 : 当两个随机变量 \(X,Y\) 相互独立时，有 \(E(X,Y) = E(X) \cdot E(Y)\) 。

常用的套路以及技巧

\(\displaystyle \sum_{i = 0}^n x^i = \frac{1 - x^{n + 1}}{1 - x}\)

当 \(n \rightarrow \infty\) 时 \(\displaystyle \sum_{i = 0}^{\infty}x^i = \frac{1}{1 - x}\)。

前缀和技巧

对于离散变量， \(P(X = K) = P(X \leq K ) - P(x \leq k - 1)\)。

小例题 1

有 \(n\) 个随机变量 \(X_{1,\dots,n}\)，每个随机变量都是从 \(\lbrack 1,S \rbrack\) 中随机一个整数，求 \(\max(X_{1,\dots,n})\) 的期望。

\[\begin{aligned} E(\max) &= \sum_{i = 1}^S P(\max = i) \cdot i\\ &= \sum_{i=1}^S (P(\max \leq i) - P(\max \leq i - 1)) - 1\\ &= \sum_{i=1}^S \Big(\frac{i^n}{S^n} - \frac{(i-1)^n}{S^n} \Big) \cdot i \end{aligned} \]

小例题 2

概率为 \(p\) 的事件期望 \(\dfrac{1}{p}\) 次之后发生。
这不是显然吗

\[\begin{aligned} E(X) &= \sum_i P(X = i) i \\ &= \sum_{i} P(X \ge i) - P(X \ge i + 1) \cdot i\\ &= \sum_{i} ((1 - p)^{i-1} - (1 - p) ^i) \cdots i \\ &= [(1 - p)^0 - (1-p)] + [(1-p)-(1-p)^2] + \dots \\ &= \sum_{i = 0} ^{\infty}(1-p)^i = \frac{1}{1-(1-p)} = \frac{1}{p} \end{aligned} \]

拿球问题

典例1

箱子里有 \(i\) 个球 \(1 \dots n\)，你要从里面拿 m 次球，拿了后不放回，求取出的数字之和的期望。

解：

\[\sum_{i=1}^n P(i) \times i = \sum_{i = 1}^n\frac{m}{n} \times i= \frac{m}{n} \times \frac{n\times (n+1)}{2} = \frac{m \times (n + 1)}{2} \]

典例2

箱子里有 \(i\) 个球 \(1 \dots n\)，你要从里面拿 m 次球，拿了后放回，求取出的数字之和的期望。
解
高一的时候老师说过放不放回概率是一样的。
所以 \(ans = \dfrac{m\times (n + 1)}{2}\)

典例3

箱子里有 \(n\) 个球 \(1 \dots n\)，你要从里边拿 m 次球，拿了之后有 \(\frac{1}{p_1}\) 的概率放回，求取出的球上数子和的期望。

解：
从拿了第一个球和第二个球来看，
如果题目中没有要求有概率放回，如果是典例 1 的那种情况，第一次取得时候每一个球被取中的概率为 \(\frac{1}{n}\)，第二次取得时候每个球被取中的概率为 \(\frac{1}{n - 1}\)。

如果加上限制，分别看两种情况。

看拿了第一个球之后，放回的概率就是 \(\frac{1}{p_1}\)，这个时候再拿第二个球每个球被取中的概率为 \(\frac{1}{p_1} \times \frac{1}{n} = \frac{1}{p_1 n}\)。
我们把不放回的概率设为 \(\frac{p_1 - 1}{p_1}\)，如果不放回，取到每一个球的概率就是 \(\frac{n - 1}{n} \times \frac{1}{n - 1}\)，前后乘起来就是：\(\frac{p_1 - 1}{p_1 n}\)。

两种情况算期望的时候为 \(P_1 \times i + P_2 \times i\)，会发现合并起来就是 \(\frac{1}{n} \times i\) ，和上边的一样，所以选 m 次的概率，选中 i 的概率还是 \(\frac{m}{n}\)。

$ans = \dfrac{m \times {n + 1}}{2} $

游走问题

典例 1

在一条 \(n\) 个点的链上游走，求从一端走到另一端的概率。
解：
用 \(X_i\) 表示 \(i\) 走到 \(i + 1\) 期望走多少步。

\[\begin{aligned} E(n) &= \sum_{i = 1}^n E(X_i) \\ E(X_i) &= \frac{1}{2} + \frac{1}{2} \times \Big(1 + E(X_{i - 1}) +E(X_i)\Big) \\ E(X_i) &= \frac{1}{2} + \frac{1}{2} + \frac{1}{2} \times E(X_{i - 1}) + \frac{1}{2} \times E(X_i) \\ E(X_i) &= E(X_{i - 1}) + 2 \\ E(n) &= 1 + 3 + 5 + \dots + 2 \times n - 3 = (n - 1) ^ 3 \end{aligned} \]

典例 2

在一个 \(n\) 个点的完全图上游走，求期望走多少步才能走到另一个点。
解：
每个点到其他点的概率都是 \(\dfrac{1}{n - 1}\)，所以期望就是 \(n - 1\) 次成功。

典例 3

在一张 \(2 \times n\) 个点的完全二分图上游走，求从一个点走到另一个点的概率。
解：
左边等价，右边等价。

• 两点在同侧：\(\dfrac{1}{n} + \dfrac{n - 1}{n} \times (2 + A)\)。
• 两点在异侧：\(1 + A\)。

典例 4

在一张 \(n\) 个点的菊花图上游走，求一个点走到另一个点的概率。
解：

• A.根到叶：\(\dfrac{1}{n - 1} + \dfrac{n - 2}{n - 1} \times (2 + A)\)。
• B.叶到根：1。
• C.叶到叶：A + 1。

典例 5

在一棵 \(n\) 个点的树上游走，求从根节点走到 \(x\) 的期望步数。
解：
\(X_i\) 表示从 i 点游走，走到 \(father_i\) 的期望步数，\(d_i\) 为 i 的入度。

\[f_x = \frac{1}{d_x} + \frac{1}{d_x} \times \sum_{i = 1}^{d_x} (1 + f_{son_x} + f_x) \]

经典问题

典例 1

每次随机取一个 \(\lbrack 1,n \rbrack\) 的整数，问期望多少次能够凑齐所有的数。
解：
考虑每次取得时候取中以前没取过的数的概率，显然是 \(\displaystyle \sum_{i = 1}^{n} \frac{n - i}{n}\)。

上边那个东西也等于 \(\displaystyle \sum_{i = 1}^n \frac{i}{n}\)，期望就是 \(\displaystyle \sum_{i = 1}^n \frac{n}{i}\) 。

典例 2

随机一个长度为 \(n\) 的排列 \(p\)，求 \(P_1.\dots, P_i\) 中的最大值为 \(P_i\) 的概率。
解：
\(\displaystyle \sum_{i = 1}^n \frac{1}{n}\)。
每个前缀中，最大值都有 i 个位置可以选，所以是 \(\frac{1}{i}\)。

典例 3

随机一个长度为 \(n\) 的排列 \(p\)，求 \(i\) 在 \(j\) 后边的概率。
解：
\(\frac{1}{2}\)，挺显然的。

典例 4

随机一个长度为 n 的排列 p，求它包含 \(w_{i}. i \in [1.m]\) 为子序列 / 子串的概率。

• 子序列，\(n \choose m\) \(\times \dfrac{(n - m)!}{n!} = \dfrac{1}{m!}\)，把他想象好多方块，每个方块都能放一个数，因为是子序列，你就从里边选 \(m\) 个块，放这个子序列，剩下的可以随便放，挺显然的。
• 子串，\(\displaystyle (n - m + 1) \times \frac{(n - m)!}{n!} = \frac{(n - m + 1)!}{n!}\)，考虑剩下的 \(n-m\) 个数都放好了，有 \(\dfrac{(n - m)!}{n!}\) 种方案，然后从 \(n - m + 1\) 个空中任选一个插入长度为 \(m\) 的子串，就是上边那个式子。

鸣谢

OI-Wiki

复杂的哈皮狗