概率论学习笔记

随机事件基本知识

这部分是高中知识。

随机试验 \(E\)：对随机现象的实现和观察。

样本点：随机试验 \(E\) 的每个可能的基本结果。

样本空间 \(\Omega\)：一个随机试验所有样本点构成的集合。

随机事件 \(A\)：样本空间的任一子集，或者说由随机试验的某些样本点构成的一个集合，简称事件。如果这个集合只由包含一个样本点，那么事件 \(A\) 就被称为基本事件。在每次随机试验中，当且仅当 \(A\) 中某个样本点出现时，称为事件 \(A\) 发生。

交事件 \(A \cap B\)：指 \(A, B\) 两个事件同时发生的情况，其样本点必须同时属于事件 \(A\) 和事件 \(B\)。

并事件 \(A \cup B\)：指 \(A, B\) 两个事件至少有一个发生的情况，其样本点要么属于事件 \(A\) 中，要么属于事件 \(B\) 中。

互斥事件：如果时间 \(A\) 和 \(B\) 不能同时发生（比如做室内广播体操和做室外广播体操 /滑稽），即 \(A \cap B = \emptyset\)，那么就称 \(A\) 和 \(B\) 互为互斥事件。

对立事件：指必有一个发生的两个互斥事件 \(A, B\)，即 \(A \cap B = \emptyset\)，\(A \cup B = \Omega\)，此时，可以记 \(A = B^c, B = A^c\)。可以发现，对立事件是一种特殊的互斥事件。而且根据逻辑学三大定律，对立事件不可能同时发生，也不可能同时不发生。

概率与期望基本知识

概率的定义

对随机事件 \(A\) 发生可能性大小的度量称为概率，记为 \(P(A)\)。

概率的计算

我们有以下三种方式来计算概率：

  • 古典概型：如果随机试验的样本空间是有限的，并且每个基本事件发生的概率是相同的（比如丢骰子丢到点数 \(6\)），此时我们就可以运用古典概型来计算概率。公式为 \(P(A) = \displaystyle\frac{n(A)}{\Omega}\)（\(n(A)\) 为 \(A\) 中的样本点个数，因此大部分概率 DP 都可以转化成计数 DP）。

  • 几何概型：如果随机试验的样本空间是无限的，并且每个基本事件发生的概率是相同的（比如射箭射中靶心，因为你可能会射中靶子上任何一个点，而整个靶子上有无数多个点），此时我们就可以运用几何概型来计算概率。公式为 \(P(A) = \displaystyle\frac{A 的测度}{\Omega 的测度}\)，一个事件的测度要根据样本点的排列顺序来确定，如果样本点排列成线段（在 \(t_1\) 到 \(t_2\) 之间的任意时刻出发）、平面图形（打瓦靶子），立体图形（星际穿越），那么对应的测度分别是长度、面积、体积。

  • 用频率来估计概率：根据伯努利的大数定律，频率会随着随机试验次数的增加向概率收敛，也就是说，随机试验次数越多，\(A\) 事件发生的频率，就越趋近于概率。公式为 \(P(A) = \displaystyle\lim_{n \rightarrow \infty} \frac{n(E)}{n}\)。

概率的三条公理

  • 对于任何一个样本空间 \(\Omega\) 中的事件 \(A\)，\(0 \leq P(A) \leq 1\)。如果 \(P(A) = 1\)，那么它就被称作必然事件，如果 \(P(A) = 0\)，那么他就被称作不可能事件；

  • 样本空间中所有基本事件发生的概率和为 \(1\)，即 \(P(\Omega) = 1\)；

  • 对于一系列的互斥事件 \(\{A_i\}\)，\(P \left(\displaystyle\bigcup A_i \right) = \displaystyle\sum P(A_i)\)。

我们运用这三条公理可以导出其它的概率公式：

  • \(P(A) + P(A^c) = P(\Omega) = 1\)；

  • 如果 \(A \subseteq B\)，那么 \(P(A) \leq P(B)\)；

  • \(P(A \cup B) = P(A) + P(B) - P(A \cap B)\)，推广可得容斥原理的概率形式：\(P \left(\displaystyle\bigcup A_i \right) = \displaystyle\sum_{r = 1}^n (-1)^{r + 1} \sum_{1 \leq i_1 < i_2 < \dots < i_r \leq n} P(A_{i_1} \cup A_{i_2} \cup \dots \cup A_{i_3})\)。

学了概率的计算和概率公理后，我们可以来看看题了。

练习一

假设在独立重复试验中，每次成功的概率为 \(p\)，失败的概率为 \((1 - p)\)。那么在 \(m\) 次失败之前，已有 \(n\) 次成功的概率是多大？

解：我们显然可以 DP，设 \(dp_{i, j}\) 表示在 \(i\) 次失败之前，已有 \(j\) 次成功的概率，那么状态转移方程就是 \(dp_{i, j} = dp_{i, j - 1} \times p + dp_{i - 1, j} \times (1 - p)\)，那么最终答案就是 \(\displaystyle\sum_{i = 1}^m dp_{i, n}\)。但是如果我们想要知道答案的封闭形式，那还要用到二元生成函数，太复杂了，有没有简单的方法呢？

费马给出了这样子的论断：

要使得 \(n\) 次成功出现在 \(m\) 次失败之前，那么在前 \(m + n - 1\) 次试验中，至少有 \(n\) 次成功。即使在次试验之前，试验已经结束了（就相当于是，在次试验之前，已经有 \(n\) 次成功了）。

那么此时封闭形式就比较好求了，我们枚举成功次数 \(i\)，那么 \(ans_{n, m} = \displaystyle\sum_{i = n}^{m + n - 1} \binom{m + n - 1}{k} p^k (1 - p)^{m + n - 1 - k}\)。这启示我们，当两个人在游戏时，确定一个人赢得一场比赛的概率，假设比赛在胜负结束后依然继续，会更为容易。

练习二

两个赌徒 \(A\) 和 \(B\) 就连续抛掷一枚硬币的结果进行打赌。如果正面向上，\(B\) 将给 \(A\) 一元。如果反面向上，\(A\) 将给 \(B\) 一元，一直如此下去，直到某一方钱输光。假设连续抛掷硬币是独立的，且每次的结果正面朝上的概率为 \(p\)，假定开始时 \(A\) 有 \(i\) 元， \(B\) 有 \(N\) 减 \(i\) 元。那么最后 \(A\) 能赢得所有钱的概率是多少？

解：设 \(q = 1 - p\)，\(dp_i\) 表示开始时 \(A\) 有 \(i\) 元，\(B\) 有 \(n - i\) 元，而 \(A\) 赢得所有钱的概率。

这个 DP 方程比较好写，因为 \(dp_i\) 只会从 \(dp_{i - 1}\) 和 \(dp_{i + 1}\)，那么 \(dp_i = p \times dp_{i + 1} + q \times dp_{i - 1}\)。这是一个稀疏矩阵，直接高斯消元可以 \(O(n)\) 求出所有 DP 值，但是我们依然希望得到 \(dp_i\) 的封闭形式。

我们将上式整理成 \(p P_{i + 1} - P_i + qP_{i - 1} = 0\)，再变化成 \(P_{i + 1} = \displaystyle\frac 1p P_i + \frac qp P_{i - 1}\)。这是一个常系数齐次线性递推的式子，根据

练习三

条件概率

条件概率可以用于计算在 \(A\) 事件发生的情况下，\(B\) 事件发生的概率，记为 \(P(B \mid A)\)。计算公式为 \(P(B \mid A) = \displaystyle\frac{P(A \cap B)}{P(A)}\)。

证明：

此时我们相当于把 \(A\) 事件当成了样本空间。根据古典概型可知，\(P(B \mid A)\) 的值等于 \(A \cup B\) 包含的样本点数除以 \(A\) 包含的样本点数，因此 \(P(B \mid A) = \displaystyle\frac{n(A \cap B)}{n(A)} = \frac{\frac{n(A \cap B)}{n(\Omega)}}{\frac{n(A)}{n(\Omega)}} = \frac{P(A \cap B)}{P(A)}\)，证明成立。

此时，我们还可以得出 \(P(A \cup B) = P(A) P(B \mid A)\)，这叫做概率乘法公式。

概率相关公式

布尔不等式

对于 \(n\) 个事件 \(A_1, A_2, \dots, A_n\)，我们有

\[P \left(\displaystyle\bigcup_{i = 1}^n A_i\right) \leq \sum_{i = 1}^n P(A_i) \]

它表达的意思是，全部事件的概率不大于单个事件的概率总和。这个很好感性理解，你一般请求你妈允许你吃零食，或者请求她允许你打游戏，而不是两个都请求，因为这样的概率比允许你做其中一个的概率要小。

证明：

考虑数学归纳法。

首先，只有一个事件时，显然 \(P(A_1) = P(A_1)\)，边界情况成立。

接着，假设对于前 \(n\) 个事件，它们都满足布尔不等式 \(P \left(\displaystyle\bigcup_{i = 1}^n A_i\right) \leq \displaystyle\sum_{i = 1}^n P(A_i)\)，我们现在要证明，加入第 \(n + 1\) 个事件，不等式仍然成立。

根据容斥原理，我们有 \(P(A \cup B) = P(A) + P(B) - P(A \cap B)\)，将 \(A\) 代换成 \(\displaystyle\bigcup_{i = 1}^n A_i\)，\(B\) 代换成 \(A_{n + 1}\)，可以得到 \(P \left(\displaystyle\bigcup_{i = 1}^{n + 1} A_i\right) = P \left(\displaystyle\bigcup_{i = 1}^n A_i\right) + P(A_{n + 1}) - P \left(\displaystyle\bigcup_{i = 1}^n A_i \cap A_{n + 1}\right)\)。

根据概率的第一条公理，我们知道 \(P \left(\displaystyle\bigcup_{i = 1}^n A_i \cap A_{n + 1}\right) \geq 0\)，那么 \(P \left(\displaystyle\bigcup_{i = 1}^{n + 1} A_i\right) \leq P \left(\displaystyle\bigcup_{i = 1}^n A_i\right) + P(A_{n + 1}) \leq \displaystyle\sum_{i = 1}^n P(A_i) + P(A_{n + 1}) = \sum_{i = 1}^n P(A_i)\)，符合数学归纳法，不等式成立。

练习四

\(n\) 个选手单循环赛（自己也要和自己打一场，但自己无法打败自己），每对选手只比赛一次，比赛结果是相互独立的，任何一场比赛的结果都分出输赢（等概率）。对于一个给定的整数 \(k\)，证明，当 \(\displaystyle\binom nk \left[1 - \left(\frac 12 \right)^k \right]^{n - k} \leq 1\) 时，存在一种比赛的结果，对于任意 \(k\) 个选手的集合都有没有一位选手（可能不在这个集合中）打败了该集合内的选手。

证明：

首先，从 \(n\) 个选手中选出 \(k\) 个选手有 \(\displaystyle\binom nk\) 种。

对于一组选手，如果有一个选手 \(x\) 打败其中所有选手，那么其概率就是 \(\left(\displaystyle\frac 12 \right)^k\)，而 \(x\) 没有打败所有选手的概率就是 \(1 - \left(\displaystyle\frac 12 \right)^k\)。

我们记 \(A_i\) 表示用第 \(i\) 种选出 \(k\) 个选手的方法选出 \(k\) 个选手这一事件，我们现在来计算 \(P(A_i)\)。如果这 \(k\) 个人包含了 \(x\)，那么 \(x\) 是无法打败这个集合中的所有人的，因为自己无法打败自己。而集合外的所有 \(n - k\) 选手也都没有击败集合中所有选手。这样的概率是 \(\left[1 - \left(\displaystyle\frac 12 \right)^k \right]^{n - k}\)。

根据布尔不等式，我们有 \(P \left(\displaystyle\bigcup_{i = 1}^n A_i\right) \leq \displaystyle\sum_{i = 1}^n P(A_i) = \binom nk \left[1 - \left(\frac 12 \right)^k \right]^{n - k} \leq 1\)，证明成立。

连续集函数公式

对于一个事件序列 \((A_i)\)，如果满足 \(A_1 \subset A_2 \subset \dots \subset A_n \subset \dots\)，那么我们就称它们是一组递增连续集；反之，如果满足 \(A_1 \supset A_2 \supset \dots \supset A_n \supset \dots\)，我们就称它们是一组递减连续集。注意到无论是递增连续集还是递减连续集，所包含的集合数都是无限个。

对于递增的的连续集，我们从新定义一个事件 \(\displaystyle\lim_{n \rightarrow \infty} A_n = \bigcup_{i = 1}^{\infty} A_i\)，而对于递减的连续集，我们同样定义一个新事件 \(\displaystyle\lim_{n \rightarrow \infty} A_n = \bigcap_{i = 1}^{\infty} A_i\)。

于是我们断言，\(\displaystyle\lim_{n \rightarrow \infty} P(A_n) = P(\lim_{n \rightarrow \infty} A_n)\)。

证明：

这个证明比较简单。我们只证明递增连续集，递减连续集同理。

根据连续集的定义，\(A_1, A_2, \dots \subset A_n\)，那么 \(A_n = \displaystyle\bigcup_{i = 1}^{n} A_i\)，于是 \(P(A_n) = P \left(\displaystyle \bigcup_{i = 1}^{n} A_i \right)\)。两边同时取极限，我们可以得到 \(\displaystyle\lim_{n \rightarrow \infty} P(A_n) = P \left(\lim_{n \rightarrow \infty} \bigcup_{i = 1}^{n} A_i \right)\)。而根据连续集新事件的定义，\(\displaystyle\bigcup_{i = 1}^{\infty} A_i = \lim_{n \rightarrow \infty} A_n\)，于是 \(\displaystyle\lim_{n \rightarrow \infty} P(A_n) = P(\lim_{n \rightarrow \infty} A_n)\)，证明成立。

练习五

\(\text{The Infinite!}\)

\(\text{No other question has ever moved so profoundly the spirit of man.}\)

\(\text{——David Hilbert}\)

一个非常经典的悖论，可以让我们初步理解无穷的比较。

假设有一个无限大的坛子和无限个编了号的球，现在是 11 点 59 分 59 秒，进行如下操作：

花 \(\displaystyle\frac 12\) 秒的时间，将 \(1 \sim 10\) 号球放进去，并把 \(10\) 号球拿出来。

再花 \(\displaystyle\frac 14\) 秒的时间，将 \(11 \sim 20\) 号球放进去，并把 \(20\) 号球拿出来。

再花 \(\displaystyle\frac 18\) 秒的时间，将 \(21 \sim 30\) 号球放进去，并把 \(30\) 号球拿出来。

\(\dots\)

那么最终坛子中剩余多少个球？

肯定会有 \(\infty\) 个，你每一次放编号为 \(10n(n \in N^+)\) 球时，都会马上把它拿出来，相当于没有放这个球。由于放了无数次（不考虑普朗克时间），那么坛子就会有 \(9 \times \infty = \infty\) 个球（如果你不知道无穷如何加减乘除，请查看希尔伯特旅馆悖论）。

这个问题似乎很简单，那我们将这个问题变化一下：

假设有一个无限大的坛子和无限个编了号的球，现在是 11 点 59 分 59 秒，进行如下操作：

花 \(\displaystyle\frac 12\) 秒的时间，将 \(1 \sim 10\) 号球放进去，并把 \(1\) 号球拿出来。

再花 \(\displaystyle\frac 14\) 秒的时间，将 \(11 \sim 20\) 号球放进去，并把 \(2\) 号球拿出来。

再花 \(\displaystyle\frac 18\) 秒的时间，将 \(21 \sim 30\) 号球放进去，并把 \(3\) 号球拿出来。

\(\dots\)

那么最终坛子中剩余多少个球？

似乎还是 \(\infty\) 个，但是我们考虑到这次我们是按照顺序将球从坛子中取出，那么每一个放入的球，总会在某一时刻被取出，因此每个球最后都会被取出，因此坛子中不会有球。

这看起来奇怪极了，感觉每次都放入了 \(9\) 个球，但是最终坛子里没有球。这解释了无穷中的一个奇怪现象，那就是部分的大小可以等于整体的大小。

我们再将这个问题改变一下，变成：

假设有一个无限大的坛子和无限个编了号的球，现在是 11 点 59 分 59 秒，进行如下操作：

花 \(\displaystyle\frac 12\) 秒的时间，将 \(1 \sim 10\) 号球放进去，并随机将一个球拿出来。

再花 \(\displaystyle\frac 14\) 秒的时间，将 \(11 \sim 20\) 号球放进去，并随机将一个球拿出来。

再花 \(\displaystyle\frac 18\) 秒的时间，将 \(21 \sim 30\) 号球放进去，并随机将一个球拿出来。

\(\dots\)

那么最终坛子中剩余多少个球？

这就要用到我们刚才讲的连续集函数公式。

先考虑 \(1\) 号球，令 \(A_n\) 表示 \(n\) 轮后其仍在坛子中的概率，那么如果第 \(n\) 轮 \(1\) 号球要留在坛子中，那么它在第 \(n - 1\) 轮时仍要留在坛子中，说明后者是前者的必要条件，因此 \(A_{n - 1} \supset A_n\)。我们发现这是一个递减连续集，于是：

\[\begin{aligned} P(\displaystyle\lim_{n \rightarrow \infty} A_n) &= \lim_{n \rightarrow \infty} P(A_n) \\&= \lim_{n \rightarrow \infty} \frac{9 \times 18 \times 27 \dots \times 9n}{10 \times 19 \times 28 \times (9n - 1)} \\&= \lim_{n \rightarrow \infty} \frac{1}{\frac{10 \times 19 \times 28 \times (9n - 1)}{9 \times 18 \times 27 \dots \times 9n}} \\&= \lim_{n \rightarrow \infty} \frac{1}{(1 + \frac 19) (1 + \frac{1}{18}) (1 + \frac{1}{27}) \dots (1 + \frac{1}{9n})} \\&\leq \lim_{n \rightarrow \infty} \frac{1}{\frac 19 + \frac{1}{18} + \frac{1}{27} + \dots + \frac{1}{9n}} \\&= 9\lim_{n \rightarrow \infty} \frac{1}{1 + \frac 12 + \frac 13 + \dots + \frac 1n} \end{aligned} \]

我们知道调和级数是发散的，证明分母在 \(n \rightarrow \infty\) 时，也会 \(\rightarrow\)，此时整个式子的值就变成了 \(0\)，则 \(1\) 球被留下的概率为 \(0\)。

同理可推得其他球留下的概率也为 \(0\)。于是坛子最后一定为空。这就是无限的奇妙之处了。

全概率公式

我们考虑将全集 \(\Omega\) 划分成几个部分，对于每个部分 \(A_i\) 分别求出 \(B\) 事件在 \(A_i\) 中的占比，乘上 \(A_i\) 在 \(\Omega\) 中的占比再加在一起就可以得到事件 \(B\) 的总占比了。用概率的语言描述，那就是如果 \(n\) 个事件 \(A_1, A_2, \dots, A_n\) 两两互斥，且 \(A_1 \cup A_2 \cup \dots \cup A_n = \Omega\)，那么可以得出 \(P(B) = \displaystyle\sum_{i = 1}^n P(A_i) P(B \mid A_i)\)，这就是全概率公式。

贝叶斯公式

根据条件概率公式合全概率公式，我们可以得到 \(P(A_i \mid B) = \displaystyle\frac{P(A_i) P(B \mid A_i)}{P(B)} = \frac{P(A_i) P(B \mid A_i)}{\sum\limits_{j = 1}^n P(A_j) P(B \mid A_j)}\)，他可以用来描述两个条件概率之间的关系。

练习六

一项血液化验有 \(95\%\) 的把握诊断某种疾病，但是这项化验用于健康人也会有 \(1\%\) 的伪阳性结果。如果该疾病的患者事实上仅占总人口的 \(0.5\%\)，若某人化验结果为阳性，则此人确实患该疾病的概率是多少？

解：由于患病人群检测出阳性和健康人群检测出阳性是两个不同的条件概率，但是我们最终要将他们合并成化验结果为阳性，这就是一个典型的贝叶斯公式的应用。

直接套用公式，此人确实患该疾病的概率 \(P = \displaystyle\frac{0.95 \times 0.005}{0.95 \times 0.005 + 0.01 \times 0.995} \approx 0.323\)。

这就产生了一个可悲的事实，那就是即使化验正确的概率高达 \(95\%\)，但是你化验结果为阳性时，你依然只有 \(30\%\) 的概率换上该病，所以医生的话到底能不能信呢？

期望

随机变量与分布

随机变量

二项式分布

几何分布

超几何分布

正态分布

泊松分部

参考资料

posted @ 2025-07-21 10:51  Orange_new  阅读(12)  评论(0)    收藏  举报