概率论 | 2.2 weak laws of large numbers

2026-08-04 12:03:35 星期二
严老师的书上没有大数定律，只好换本书读了. 看的是durrett的书. 最近又把夏日重现给看了🥹

抗いながら
あやかりながら
何巡目かの死期を彩る溜め息
「守らせてくれよ一度くらい」

2.2 弱大数定律

一、\(L^2\) weak Laws

Def (uncorrelated) 一族随机变量 \(\{X_i\}_{i \in I}\)，\(EX_i^2 < \infty\)，若 \(\forall i \neq j\)，\(EX_i X_j = EX_i EX_j\)，则称这族随机变量不相关。

Thm 2.2.1 若 \(X_1,\dots,X_n\) 二阶矩有限且不相关，则

\[\operatorname{Var}(X_1 + \cdots + X_n) = \operatorname{Var}(X_1) + \cdots + \operatorname{Var}(X_n). \]

证明. 记 \(S_n = \frac{1}{n} \sum_{k=1}^n X_k\)，\(\mu_k = EX_k\)，直接计算：

\[\begin{aligned} \operatorname{Var}(S_n) &= E\left[ (S_n - ES_n)^2 \right] \\ &= E\left[ \left( \frac{1}{n} \sum_{k=1}^n (X_k - \mu_k) \right)^2 \right] \\ &= E\left[ \frac{1}{n^2} \sum_{i=1}^n \sum_{j=1}^n (X_i - \mu_i)(X_j - \mu_j) \right] \\ &= \frac{1}{n^2} \sum_{k=1}^n E[(X_k - \mu_k)^2] + \frac{1}{n^2} \sum_{i \neq j} E[(X_i - \mu_i)(X_j - \mu_j)] \\ &= \frac{1}{n^2} \sum_{k=1}^n \operatorname{Var}(X_k). \end{aligned} \]

Lemma 2.2.2 若 \(p > 0\)，且 \(E|Z_n|^p \to 0\)，则 \(Z_n \xrightarrow{P} 0\).

证明. \(\forall \varepsilon > 0\)，

\[P(|Z_n| \ge \varepsilon) \le \frac{1}{\varepsilon^p} E|Z_n|^p \to 0 \quad (n \to \infty). \]

Thm 2.2.3 (\(L^2\) weak Law) 设 \(X_1,\dots,X_n,\dots\) 为不相关的，且 \(EX_i = \mu\)，而且方差一致有界 \((\operatorname{Var}(X_i) \le C < \infty)\). 设 \(S_n = X_1 + \cdots + X_n\)，则

\[\frac{S_n}{n} \xrightarrow{P} \mu. \]

证明. 注意\(E\left( \frac{S_n}{n} \right) = \mu\)，且

\[E\left| \frac{S_n}{n} - \mu \right|^2 = \operatorname{Var}\left( \frac{S_n}{n} \right) = \frac{1}{n^2} \operatorname{Var}(S_n) = \frac{1}{n^2} \sum_{i=1}^n \operatorname{Var}(X_i) \le \frac{C}{n} \to 0. \]

令 \(Z_n = \frac{S_n}{n} - \mu\)，则 \(E|Z_n|^2 \to 0\)，由 Lemma 2.2.2 得 \(Z_n \xrightarrow{P} 0\)，即

\[\frac{S_n}{n} \xrightarrow{P} \mu. \]

二、三角阵列 Triangular Array

Thm 2.2.6 设 \(\mu_n = ES_n\)，\(\sigma_n^2 = \operatorname{Var}(S_n)\). 若 \(\{b_n\}_{n=1}^\infty\) 满足 \(\frac{\sigma_n^2}{b_n^2} \to 0\)，则

\[\frac{S_n - \mu_n}{b_n} \xrightarrow{P} 0. \]

证明.

\[E\left( \frac{S_n - \mu_n}{b_n} \right)^2 = \frac{1}{b_n^2} \operatorname{Var}(S_n) \to 0 \quad (n \to \infty). \]

由 Lemma 2.2.2，\(\frac{S_n - \mu_n}{b_n} \xrightarrow{P} 0\).

---

三、Truncation（截断）

在 \(L^2\) weak Laws 一节中，我们假定 \(\{X_n\}_{n=1}^\infty\) 方差一致有界。下面我们考虑：如果没有 \(\operatorname{Var}(X_n) < \infty\) 的限制，该如何建立依概率收敛的理论？

对 r.v. \(X\) 在水平 \(M\) 处的截断为

\[\overline{X} = X I_{\{|X| \leq M\}} = \begin{cases} X, & |X| \leq M, \\ 0, & |X| > M. \end{cases} \]

这样 \(\operatorname{Var}(\overline{X}) \le E(\overline{X})^2 \le M^2 < \infty\)，可以构造方差有界的 r.v.

考虑三角阵列：

\[\begin{aligned} &X_{1,1} \\ &X_{2,1} \quad X_{2,2} \\ &X_{3,1} \quad X_{3,2} \quad X_{3,3} \\ &\cdots \end{aligned} \]

Thm 2.2.11 \(\forall n\)，\(X_{n,1}, \ldots, X_{n,n}\) 是独立的，设 \(b_n > 0\)，且 \(b_n \to \infty\). 令

\[\overline{X}_{n,k} = X_{n,k} I_{\{|X_{n,k}| \le b_n\}}. \]

若
(i) \(\sum_{k=1}^n P(|X_{n,k}| > b_n) \to 0 \quad (n \to \infty)\)，
(ii) \(\frac{1}{b_n^2} \sum_{k=1}^n E\overline{X}_{n,k}^2 \to 0\)，
令 \(S_n = \sum_{k=1}^n X_{n,k}\)，设 \(\alpha_n = \sum_{k=1}^n E\overline{X}_{n,k}\)，则

\[\frac{S_n - \alpha_n}{b_n} \xrightarrow{P} 0. \]

这里我们没要求 \(\operatorname{Var}(X_n) < \infty\).

证明. 记 \(\widetilde{S}_n = \overline{X}_{n,1} + \cdots + \overline{X}_{n,n}\). 注意有

\[P\left( \left| \frac{S_n - \alpha_n}{b_n} \right| \ge \varepsilon \right) \le P(S_n \neq \widetilde{S}_n) + P\left( \left| \frac{\widetilde{S}_n - \alpha_n}{b_n} \right| \ge \varepsilon \right). \]

1. 第一项：\(\{S_n \neq \widetilde{S}_n\}\) 发生意味着至少有一个 \(X_{n,k}\) 满足 \(|X_{n,k}| > b_n\)，所以

\[P(S_n \neq \widetilde{S}_n) \le \sum_{k=1}^n P(|X_{n,k}| > b_n) \xrightarrow{(i)} 0 \quad (n \to \infty). \]

2. 第二项：注意 \(\alpha_n = E\widetilde{S}_n\). 由 Chebyshev 不等式，

\[P\left( \left| \frac{\widetilde{S}_n - \alpha_n}{b_n} \right| \ge \varepsilon \right) \le \frac{1}{\varepsilon^2 b_n^2} \operatorname{Var}(\widetilde{S}_n) = \frac{1}{\varepsilon^2 b_n^2} \sum_{k=1}^n \operatorname{Var}(\overline{X}_{n,k}) \le \frac{1}{\varepsilon^2 b_n^2} \sum_{k=1}^n E\overline{X}_{n,k}^2 \to 0. \]

综上，\(\frac{S_n - \alpha_n}{b_n} \xrightarrow{P} 0\).

---

Thm 2.2.12（弱大数定律） 设 \(X_1, X_2, \ldots\) i.i.d. 且 \(P(|X_1| > x) \to 0\) as \(x \to \infty\)，令 \(S_n = \sum_{k=1}^n X_k\)，\(\mu_n = E(X_1 I_{\{|X_1| \le n\}})\)，则

\[\frac{S_n}{n} - \mu_n \xrightarrow{P} 0. \]

Remark. 这实际上是充要的.

证明. 套用 Thm 2.2.11，令 \(b_n = n\)，\(X_{n,k} = X_k\). 验证条件：

(i)

\[\sum_{k=1}^n P(|X_{n,k}| > b_n) = \sum_{k=1}^n P(|X_k| > n) \overset{\text{同分布}}{=} n P(|X_1| > n) \to 0. \]

(ii)

\[\frac{1}{b_n^2} \sum_{k=1}^n E\overline{X}_{n,k}^2 = \frac{1}{n^2} \sum_{k=1}^n E\left( X_k I_{\{|X_k| \le n\}} \right)^2 \overset{\text{同分布}}{=} \frac{1}{n} E\left( X_1 I_{\{|X_1| \le n\}} \right)^2. \]

由 Lemma 2.2.13，

\[E\left( X_1 I_{\{|X_1| \le n\}} \right)^2 = \int_0^\infty 2y \, P\left( |X_1| I_{\{|X_1| \le n\}} > y \right) dy. \]

利用lemma2.2.13（后面会证）

\[E\left( X_1 I_{\{|X_1| \le n\}} \right)^2 = \int_0^n 2y \, P(y < |X_1| \le n) \, dy \le \int_0^n 2y \, P(|X_1| > y) \, dy. \]

因此

\[\frac{1}{n} E\left( X_1 I_{\{|X_1| \le n\}} \right)^2 \le \frac{1}{n} \int_0^n 2y \, P(|X_1| > y) \, dy. \]

令 \(y = nx\)，则

\[\frac{1}{n} \int_0^n 2y \, P(|X_1| > y) \, dy = \int_0^1 2nx \, P(|X_1| > nx) \, dx \xrightarrow{DCT} \int_0^1 \lim_{n \to \infty} 2nx \, P(|X_1| > nx) \, dx = 0. \]

综上，由 Thm 2.2.11，\(\frac{S_n - \mu_n}{n} \xrightarrow{P} 0\).

---

证明中用到了 Lemma 2.2.13：若 \(Y \ge 0\)，\(p > 0\)，则

\[EY^p = \int_0^\infty p y^{p-1} P(Y > y) \, dy. \]

证明.

\[\int_0^\infty p y^{p-1} P(Y > y) \, dy = \int_0^\infty \int_\Omega p y^{p-1} I_{\{y < Y\}} \, dP \, dy \overset{\text{Fubini}}{=} \int_\Omega \int_0^Y p y^{p-1} \, dy \, dP = \int_\Omega Y^p \, dP = EY^p. \]

---

Thm 2.2.14（Khinchin's WLLN） 设 \(X_1, X_2, \ldots\) 独立同分布，且 \(E|X_1| < \infty\)，令 \(S_n = X_1 + \cdots + X_n\)，\(\mu = EX_1\)，则

\[\frac{S_n}{n} \xrightarrow{P} \mu. \]

证明. 注意到

\[x P(|X_1| > x) \le E(|X_1| I_{\{|X_1| > x\}}). \]

对 RHS 应用 DCT：由于 \(E|X_1| < \infty\)，\(|X_1|\) 是 a.e. 有限的，所以 \(I_{\{|X_1| > x\}} \to 0\) as \(x \to \infty\)，且

\[|X_1| I_{\{|X_1| > x\}} \le |X_1|, \]

由 DCT，

\[x P(|X_1| > x) \le E(|X_1| I_{\{|X_1| > x\}}) \to 0. \]

为了应用 Thm 2.2.12，注意

\[\mu_n = E(X_1 I_{\{|X_1| \le n\}}) \xrightarrow{n \to \infty} EX_1 = \mu. \]

因此

\[\frac{S_n}{n} - \mu_n \xrightarrow{P} 0. \]

又

\[\left| \frac{S_n}{n} - \mu \right| \le \left| \frac{S_n}{n} - \mu_n \right| + |\mu_n - \mu|. \]

因此

\[\left\{ \left| \frac{S_n}{n} - \mu \right| > \varepsilon \right\} \subseteq \left\{ \left| \frac{S_n}{n} - \mu_n \right| > \frac{\varepsilon}{2} \right\} \cup \left\{ |\mu_n - \mu| > \frac{\varepsilon}{2} \right\}. \]

所以

\[P\left( \left| \frac{S_n}{n} - \mu \right| > \varepsilon \right) \le P\left( \left| \frac{S_n}{n} - \mu_n \right| > \frac{\varepsilon}{2} \right) + P\left( |\mu_n - \mu| > \frac{\varepsilon}{2} \right). \]

两项均趋于 0，故 \(\frac{S_n}{n} \xrightarrow{P} \mu\).