期望学习笔记

前言

并不很具有参考性的一篇笔记。来源于网络。

很多名词是自己编的，仅供理解，别信。

当然定理和证明不是自己编的。

基础

概念

\[E(X)=P(X)X=\sum_iP(X=i)i \]

积性

对于独立事件 \(A,B\)：

\[E(AB)=E(A)E(B) \]

和性

对于任意事件 \(A,B\)：

\[E(A+B)=E(A)+E(B) \]

证明

\[\begin{align*} E(A+B)&=\sum_i\sum_j[A=i\land B=j](i+j)\\ &=\sum_i\sum_j([A=i\land B=j]i+[A=i\land B=j]j)\\ &=\sum_i(i\sum_j[A=i\land B=j])+\sum_j(j\sum_i[A=i\land B=j])\\ &=E(A)+E(B) \end{align*} \]

常用公式

\(x\in(0,1)\)，有：

\[\sum_{i=0}^{\infty}x^i=\frac{1}{1-x} \]

证明

由等比数列公式得：

\[\sum_{i=0}^nx^i=\frac{1-x^{n+1}}{1-x} \]

然后极限思想一下。

模型

概率等值常见转换

对于离散变量 \(x\)：

\[P(x=k)=P(x\le k)-P(x\le k-1) \]

对于变量 \(x,y\)：

\[P(x+y=k)=\sum_iP(x=i\land y=k-i) \]

练习：随机取值最大值期望

给定一个包含 \(n\) 个元素的离散数组 \(A\)，每个元素在 \([1,S]\) 间随机取值，求数组最大值的期望值。

解答

不妨设 \(x=\max_{i=1}^nA_i\)：

\[\begin{align*} E(x)&=\sum_iP(x=i)i\\ &=\sum_i[P(x\le i)-P(x\le i-1)]i \end{align*} \]

然后我们考虑 \(A_i\) 是独立的，具有积性：

\[P(x\le i)=P(\max_{i=1}^nA_i\le i)=\prod_{j=1}^nP(A_j\le i)=(\frac{i}{S})^n \]

代入原式：

\[E(x)=\sum_i[(\frac{i}{S})^n-(\frac{i-1}{S})^n]i \]

练习：概率事件发生所需次数

求每次有 \(p\) 概率发生的事件 \(X\) 发生的期望需要次数。

解答

\[\begin{align*} E(X)&=\sum_{i=1}^{\infty}P(X=i)i\\ &=\sum_{i=1}^{\infty}[P(x\ge i)-P(X\ge i+1)]i\\ &=\sum_{i=1}^{\infty}[(1-p)^{(i-1)}-(1-p)^i]i\\ &=\sum_{i=0}^{\infty}(1-p)^i\\ &=\frac{1}{1-(1-p)}\\ &=\frac{1}{p} \end{align*} \]

整数概率公式

对于正整数随机变量 \(x\) 有：

\[E(x)=\sum_{i=1}^{+\infty} P(x\ge i) \]

证明

\[\begin{align*} E(x)&=\sum_i P(x=i)i\\ &=\sum_i (P(x\ge i)-P(x\ge i+1))i\\ &=\sum_i (P(x\ge i)i-P(x\ge i)(i-1))\\ &=\sum_i P(x\ge i) \end{align*} \]

取球问题

取完放回

给 \(n\) 个球，编号为 \(1\) 至 \(n\)，每次等概率随机取 \(1\) 个球，然后放回，求 \(m\) 次取球后的期望和。

解答

首先已知这 \(m\) 次取球是独立且本质相同的。

\[\begin{align*} \sum_{i=1}^mE(X)&=mE(X)\\ &=m\sum_{i=1}^n\frac{i}{n}\\ &=m\frac{(n+1)n}{2n}\\ &=\frac{m(n+1)}{2} \end{align*} \]

取完不放回

给 \(n\) 个球，编号为 \(1\) 至 \(n\)，每次等概率随机取 \(1\) 个球，不放回，求 \(m\) 次取球后的期望和。

解答

我们令 \(S\) 表示最后的和。

\[S=\sum_{i=1}^nx_i,x_i=\begin{cases}i\\0\end{cases} \]

且非零 \(x_i\) 个数为 \(m\)。那么根据期望的和性可得：

\[E(S)=\sum_{i=1}^nE(x_i) \]

考虑某个球被选中的概率，\(n\) 个球中选 \(m\) 个的方案数为 \(C_n^m\)，而必然选中 \(i\) 的方案数为 \(C_{n-1}^{m-1}\)，则：

\[P(x_i)=\frac{C_{n-1}^{m-1}}{C_n^m}=\frac{m}{n} \]

\[E(S)=\sum_{i=1}^n\frac{m}{n}i=\frac{m(n+1)}{2} \]

所以放不放回对最后的期望没有影响。

取完随机放回

给 \(n\) 个球，编号为 \(1\) 至 \(n\)，每次等概率随机取 \(1\) 个球，有 \(p_i\) 的概率放回 \(i\) 个球（\(i\in N,\sum p_i=1\)），求 \(m\) 次取球后的期望和。

解答

这个问题感性理解会更方便一些。

考虑整合所有情况，那么每一步选的球其实是等概率的。

当前这个球所属的情况，其他 \(n-1\) 个球通过特定的操作方式也可以达到，然后这些方式对于所有球都是可以对应等价的。总之，整体来看，这 \(n\) 个球每次都是等概率选取的。

所以答案为：

\[E(S)=\sum_{i=1}^n\frac{m}{n}i=\frac{m(n+1)}{2} \]

游走问题

链上游走

在一条 \(n\) 个节点的链上随机游走，求从一端走到另一端的期望步数。

解答

我们令 \(X_i\) 表示第一次从 \(i\) 走到 \(i+1\) 所用的步数。

\[E(S)=E(\sum_{i=1}^{n-1}X_i)=\sum_{i=1}^{n-1}E(X_i) \]

首先易得 \(X_1=1\)，对于 \(i>1\) 的 \(X_i\)，有 \(\frac{1}{2}\) 的概率走到 \(i-1\)，\(\frac{1}{2}\) 的概率走到 \(i+1\)，则可列出期望方程：

\[\begin{align*} E(X_i)&=\frac{1}{2}+\frac{1}{2}(1+E(X_{i-1})+E(X_{i}))\\ E(X_i)&=E(X_{i-1})+2 \end{align*} \]

带回原式：

\[E(S)=\frac{(1+2n-3)(n-1)}{2}=(n-1)^2 \]

树上游走

在一条 \(n\) 个节点的树上随机游走，求从一个节点走到另一个节点的期望步数。

解答

我们以走到的那个节点为根，令 \(X_i\) 表示第一次从 \(i\) 走到 \(i\) 的父节点所用的步数。特别地，令 \(X_{rt}=0\)。

\[\begin{align*} E(X_i)&=\frac{1}{d_i}+\sum_{j\in\mathrm{Son}(i)}\frac{1}{d_i}(1+E(X_j)+E(X_i))\\ E(X_i)&=d_i+\sum_{j\in\mathrm{Son}(i)}E(X_j) \end{align*} \]

答案就是起点到根的链的 \(\sum E(X)\)。

不难发现链上游走就是树上游走的特殊情况。

完全图上游走

在一个 \(n\) 个节点的完全图上随机游走，求从一个节点走到另一个节点的期望步数。

解答

无论当前在哪个点，都有 \(\frac{1}{n-1}\) 的概率到达目标点，那么问题就变成了概率事件发生所需次数问题。

答案就是 \(n-1\)。

完全二分图上游走

在一个 \(n+m\) 个节点（一侧 \(n\) 一侧 \(m\)）的完全二分图上随机游走，求从一个节点走到另一个节点的期望步数。

解答

我们分同侧和异侧考虑。

令 \(A_n\) 表示起点位于 \(n\) 节点一侧异侧期望步数，\(A_m\) 表示起点位于 \(m\) 节点一侧异侧期望步数，\(B_n\) 表示起点位于 \(n\) 节点一侧同侧期望步数，\(B_m\) 表示起点位于 \(m\) 节点一侧同侧期望步数。

\[\begin{cases} B_n=1+A_m\\ B_m=1+A_n\\ A_n=\frac{1}{m}+\frac{m-1}{m}B_m\\ A_m=\frac{1}{n}+\frac{n-1}{n}B_n \end{cases} \Rightarrow \begin{cases} A_n=m\\ A_m=n\\ B_n=1+m\\ B_m=1+n \end{cases} \]