大数定理、中心极限定理及其相互关系[原创www.cnblogs.com/helesheng]

一、大数定理

1、直观描述

大量测量值的算术平均值具有稳定性。

2、用严格数学语言描述

设\(X_1,X_2,...,X_n\)是相互独立的随机变量序列，具有相同的数学期望\(E(X_i)=\mu\)对任意 \(\varepsilon > 0\) ，有：

\[\lim_{n \to \infty} P\left(\left|\frac{1}{n}\sum_{i=1}^{n} X_i - \mu\right| \geq \varepsilon\right) = 0 \tag 1 \]

3、大数定理不一定要求\(X_1,X_2,...,X_n\)的分布相同，只要期望相同即可

1. 若\(X_1,X_2,...,X_n\)分布不同，但方差有界时，大数定理称为切比雪夫定理。
2. 若\(X_1,X_2,...,X_n\)分布相同，但方差可以不存在时，大数定理称为辛钦定理。
3. 伯努利定理：\(X_1,X_2,...,X_n\)都服从0-1分布情况下，切比雪夫定理的特殊情况：若\(X_1,X_2,...,X_n\)符合同一个0-1分布，n_A是n次独立重复实验中A事件发生的次数，p是事件A在每次实验中发生的概率则对于任意$ \varepsilon > 0$，有：

\[\lim_{n \to \infty} P\left(\left|\frac{n_A}{n} - p\right| \geq \varepsilon\right) = 0 \tag 2 \]

二、中心极限定理

1、直观描述

大量独立的随机变量之和，近似服从正态分布，期望为所有随机变量的期望之和，方差为所有方差之和。

2、用严格数学语言描述

注意：所有中心极限定理的严格描述，都是把大量随机变量之和整理为期望为0，方差为1的标准变量后得到的。
各随机变量存在有限的数学期望和方差，表示为：
\(E(X_k)=μ_k\)（若分布相同则记为\(E(X_k)=μ\)）
​\(D(X_k)=σ_k^2\)（若分布相同则记为\(D(X_k)=\sigma ^2\)）

中心极限定理的描述法1——李雅普诺夫定理：

上述直观描述是中心极限定理的最强形式，它不要求参与求和的随机变量的分布相同，但要求独立分布，只要数学期望和方差都存在，且满足一个简单限制（李雅普诺夫条件）即可。
设 \(X_1,X_2,…,X_n\)为相互独立的随机变量序列（分布不一定相同），且
则归一化后的随机变量：

\[Z_n = \frac{\displaystyle\sum_{k=1}^{n} X_k - \displaystyle\sum_{k=1}^n \mu_k}{\sqrt{\displaystyle\sum_{k=1}^{n} \sigma_k^2}} \]

分布函数收敛于标准正态分布\(\mathcal N(0,1)\)，即：

\[\lim_{n \to \infty} P\left(Z_n \leq x\right) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{\frac{-t^2}{2}} dt \]

但是，这些随机变量应满足以下李雅普诺夫条件：

\[\lim_{n \to \infty} \frac{\displaystyle\sum_{k=1}^{n} E\left(|X_k - \mu_k|^{2+\delta}\right)}{\left[\displaystyle\sum_{k=1}^{n} \sigma_k^2\right]^{1+\delta/2}} = 0 \]

中心极限定理的描述法2——独立同分布中心极限定理（林德伯格-列维定理）：

这是最常用的一个中心极限定理，它要求所有随机变量\(X_1,X_2,…,X_n\) 分布相同，且相互独立时归一化后的随机变量：

\[Z_n = \frac{\displaystyle\sum_{k=1}^{n} X_k - n \mu}{\sqrt{n} \sigma} \]

其分布函数收敛于标准正态分布\(\mathcal N(0,1)\)，即：

\[\lim_{n \to \infty} P\left(Z_n \leq x\right) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{\frac{-t^2}{2}} dt \]

中心极限定理的描述法3——独立0-1分布中心极限定理（棣莫弗-拉普拉斯定理）：

这个定理是独立同分布中心极限定理（林德伯格-列维定理）的特殊情况，即“同分布”是0-1分布。n个独立0-1分布实验即伯努利试验，其和符合二项分布，由于二项分布的数学期望为np，方差为np(1-p)所以设归一化后的随机变量为：

\[\eta_n = \frac{\displaystyle\sum_{k=1}^{n} X_k - n p}{\sqrt{np(1-p)}} \]

其分布函数收敛于标准正态分布\(\mathcal N(0,1)\)，即：

\[\lim_{n \to \infty} P\left(\eta _n \leq x\right) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{\frac{-t^2}{2}} dt \]

三、中心极限定理是大数定理的增强版

两个定理都描述了多个随机变量的均值将随n增加收敛于这些随机变量的数学期望。但大数定理只说了收敛于期望，而中心极限还说了这种收敛的方式是正态分布方式，且均值方差将随n增加减少到原来的1/n。也就是说中心极限定理在比大数定理更强的条件下（中心极限定理要求方差存在，而大数定理不需要），不仅证明了样本均值的收敛性，还提供了标准化后的渐近分布信息。因此，中心极限定理蕴含大数定理的结论，可以在某种意义上理解为中心极限定理是大数定理的“充分条件”，但两者关注的数学对象不同。
几条中心极限定理和大数定理之间的关系：

大数定理	对应中心极限定理	关系
辛钦定理	林德伯格-列维定理	同分布情形
切比雪夫定理	李雅普诺夫定理	不同分布但有界方差
伯努利定理	棣莫弗-拉普拉斯定理	0-1分布情形

另外，如果考察随机变量的和，与均值的方差随n增加的变化关系有如下结论：
对于和有，\(D(X_1+X_2)=D(X_1)+D(X_2)（其中X_1、X_2独立同分布）\)，所以和的方差将随n增大而增大。
但对于均值，\(D(\frac{X_1+X_2}{2})=\frac{D(X_1)+D(X_2)}{4}\)，所以均值的方差将随n增大而减小。
这就是中心极限定理的底层逻辑：当参与的独立随机变量增加时，它们均值的方差（离散性/随机性）不断降低，也就使均值逐渐收敛于数学期望。
这一底层逻辑可进一步导出大数定理。
当然，在标准描述方法中，大数定理是以均值为描述的随机变量的，而中心极限定理是以和为描述的随机变量的。
不同的中心极限定理和大数定理表述方式，只是阐述了这些独立分布的随机变量满足不同分布时的同一结论。

四、应用举例

一加法器同时收到20个噪声电压\(V_k(k=1,2,…,20)\)，设它们是相互独立的随机变量，且都在区间(0,10)上服从均匀分布，求\(V =\displaystyle\sum_{k=1}^{20}V_k\)，求\(P\{V > 105\}\)的近似值。
解：中心极限定理就是得到随机变量和的分布，但需要知道求和的各个随机变量的期望和方差。
对于均匀分布\(U(a,b)，E(X)=\frac{a+b}{2}=5，D(X)=\frac{(b-a)^2}{12}=\frac {100} {12}\)
根据同分布中心极限定理，变量\(Z_n\)：

\[\begin{aligned} Z_n &= \frac{\displaystyle\sum_{k=1}^{n} X_k - n \mu}{\sqrt{n} \sigma}\\ &= \frac{\displaystyle\sum_{k=1}^{20} X_k - 20 \times 5}{\sqrt{20} \sqrt{\frac {100} {12}}} \end{aligned} \]

近似符合正态分布\(\mathcal N(0,1)\)。

\[\begin{aligned} P\{V > 105\} &= P\{\frac{V - 20 \times 5}{\sqrt{20} \sqrt{\frac {100} {12}}}> \frac{105 - 20 \times 5}{\sqrt{20} \sqrt{\frac {100} {12}}}\} \\ &= P\{Z_n> 0.387\}\\ &= 1-P\{Z_n \le 0.387\}\\ &=1 - \int_{-\infty}^{0.387} \frac{1}{\sqrt{2\pi}} e ^{\frac{t^2}{2}} dt\\ &=1-\Phi(0.387)\\ &=0.348 \end{aligned} \]