大数定律与中心极限定理

目录

随机变量序列的两种收敛性

  • 依概率收敛:设\(\{X_n\}\)为一随机变量序列,\(X\)为一随机变量,若对于任意\(\epsilon>0\),有

\[P(|X_n-X|\geq\epsilon)\rightarrow0(n\rightarrow \infty) \]

则称序列\(\{X_n\}\)依概率收敛于\(X\),记作\(X_n\xrightarrow[]{P}X\)

  • 依概率收敛的性质:若

\[X_n\xrightarrow[]{P}a \]

\[Y_n\xrightarrow{P}b \]

则:

\[X_n\pm Y_n\xrightarrow[]{P}a\pm b \]

\[X_nY_n\xrightarrow[]{P}ab \]

\[X_n\div Y_n \xrightarrow[]{P}a\div b \]

  • 弱收敛(按分布收敛):随机变量\(X,X_1,X_2…\)的分布函数为\(F(x),F_1(x),F_2(x)…\),若对于\(F(x)\)的任意一个连续点\(x\),有

\[lim_{n\rightarrow\infty}F_n(x)=F(x) \]

则称分布函数序列\(\{F_n(x)\}\)弱收敛于\(F(x)\),记作

\[F_n(x)\xrightarrow{W}F(x) \]

也称\(\{X_n\}\)按分布收敛于\(X\),记作

\[X_n\xrightarrow{L}X \]

特征函数

  • 特征函数:设\(X\)是一个随机变量,则

\[\varphi(t)=E(e^{itX}) \]

为X的特征函数。

常用分布的特征函数

  • 0-1分布\(\varphi(t)=pe^{it}+q\)

  • 泊松分布:

\[\varphi(t)=\sum e^{itx}\frac{\lambda^ke^{-\lambda}}{k!}=e^{-\lambda}\sum\frac{(\lambda e^{it})^k}{k!}=e^{\lambda(e^{it}-1)} \]

  • 均匀分布:

\[\varphi(t)=\int_a^b\frac{e^{itx}}{b-a}dx=\frac{e^{itb}-e^{ita}}{it(b-a)} \]

  • 标准正态分布:

\[\varphi(t)=e^{-\frac 12 t^2} \]

证明:

\[\begin {split}\varphi(t)&=\int_{-\infty}^{\infty}e^{itx}\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx \\&=\frac1{\sqrt{2\pi}}\int_{-\infty}^{\infty}\sum_{n=0}^{\infty}\frac {(itx)^n}{n!}e^{-\frac 12x^2}dx \\&=\sum_{n=0}^{\infty}\frac {(it)^n}{n!}[\int_{-\infty}^{\infty}x^n\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}]dx \\&=\sum_{n=0}^{\infty}\frac {(it)^n}{n!}E(X^n)\end {split}\]

当n为奇数时,

\[E(X^n)=\int_{-\infty}^{\infty}x^n\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx=0 \]

当n为偶数时,

\[\begin{split}E(X^n)=E(X^{2m}) &=\int_{-\infty}^{\infty}x^{2m}\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx \\&=\frac1{\sqrt{2\pi}} \int_{-\infty}^{\infty}-x^{2m-1}d(e^{-\frac 12x^2}) \\&=\frac1{\sqrt{2\pi}}(2m-1) \int_{-\infty}^{\infty}x^{2m-2}e^{-\frac 12x^2}dx \\&= (2m-1)(2m-3)…1\int_{-\infty}^{\infty}\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx \\&=(2m-1)!! \\&=\frac{2m!}{2^m(m-1)!} \end {split}\]

\[\begin{split}\varphi(t) &=\sum_{m=0}^{\infty}\frac {(it)^{2m}}{(2m)!}E(X^{2m}) \\&=\sum_{m=0}^{\infty}\frac {(it)^{2m}}{(2m)!}\frac{2m!}{2^m(m-1)!} \\&=\sum_{m=0}^{\infty}\frac{(-\frac{t^2}{2})^m}{m!} \\&=e^{-\frac 12t^2} \end{split}\]

  • 指数分布的特征函数:

\[\varphi(t)=(1-\frac{it}\lambda)^{-1} \]

证明:

\[\begin{split} \varphi(t)&=\int_0^{\infty}e^{itx}\lambda e^{-\lambda x}dx \\&=\lambda[\int_0^{\infty}cos(tx)e^{-\lambda x}dx+i\int_0^{\infty}sin(tx)e^{-\lambda x}dx] \end{split}\]

\[\begin{split} I&=\int_0^{\infty}cos(tx)e^{-\lambda x}dx \\&=\int_0^{\infty}\frac 1te^{-\lambda x}dsin(tx) \\&=\frac \lambda t\int_0^{\infty}sin(tx)e^{-\lambda x}dx \\&=-\frac \lambda {t^2} [-1+\lambda \int_0^{\infty}cos(tx)e^{-\lambda x}dx] \\&=-\frac{\lambda^2}{t^2}I+\frac{\lambda}{t^2} \end{split}\]

\[I = \frac {\lambda}{\lambda^2+t^2} \]

\[\begin{split}\varphi(t)&=\lambda(\frac {\lambda}{\lambda^2+t^2}+i\frac {t}{\lambda^2+t^2}) \\&=\frac \lambda{\lambda^2+t^2}(\lambda+it) \\&=\frac \lambda{\lambda-it} \\&=(1-\frac{it}\lambda)^{-1} \end{split}\]

特征函数的性质

  • \(|\varphi(t)|\leq \varphi(0)=1\)

证明:

\[|\varphi(t)|=|\int e^{itx}f(x)dx|\leq\int|e^{itx}|f(x)dx=1 \]

  • \(Y=aX+b\),则

\[\varphi_Y(t)=e^{ibt}\varphi_X(at) \]

证明:

\[\varphi_Y(t)=\int e^{it(ax+b)}f(x)dx=e^{itb}\int e^{itax}f(x)dx=e^{ibt}\varphi_X(at) \]

  • \(X\)\(Y\)相互独立,则有

\[\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t) \]

证明:

\[E(e^{it(X+Y)})=E(e^{itx}e^{ity})=E(e^{itx})E(e^{ity})=\varphi_X(t)\varphi_Y(t) \]

  • \(E(X^l)\)存在,则\(X\)的特征函数l次可导,且对\(1\leq k\leq l\)

\[\varphi^{(k)} (0)=i^kE(X^k) \]

证明:

\[\varphi^{(k)}(t)=\int i^kx^ke^{ixt}f(x)dx \]

\(t=0\)代入得

\[\varphi^{(k)}(0)=i^k\int x^kf(x)dx=i^kE(X^k) \]

大数定律

  概率是频率的稳定值,其中稳定是什么意思?大数定律详细的描述了这个问题。

  大数定律指的是随机变量序列的平均值,依概率收敛于各个随机变量均值的平均值。

伯努利大数定律

  伯努利大数定律说明这样一个事实:对于一个服从伯努利分布的事件\(s_n\),随着试验次数\(n\)的增加,事件发生的频率\(f=\frac{s_n}n\)与概率\(p\)的偏差的绝对值\(|\frac{s_n}n-p|\)大于给定精度\(\epsilon\)的概率越来越小,这就是概率是频率的稳定值的数学描述。即频率\(f\)是概率\(p\)的一个点估计量,且是无偏的。

  • 伯努利大数定律:设\(s_n \sim B(n,p)\),则对于任意的\(\epsilon>0\),有

\[lim_{n\rightarrow\infty}P(|\frac{s_n}{n}-p|<\epsilon)=1 \]

证明:由于

\[s_n\sim B(n,p) \]

\[E(\frac{s_n}n)=\frac 1nE(s_n)=p \]

\[\sigma^2 = D(\frac {s_n}n)=\frac 1{n^2}D(s_n)=\frac{p(1-p)}{n} \]

切比雪夫不等式可知

\[P(|\frac{s_n}{n}-p|<\epsilon)\geq 1-\frac{\sigma^2}{\epsilon^2} \]

\[\begin{split}lim_{n\rightarrow\infty}P(|\frac{s_n}{n}-p|<\epsilon)\geq lim_{n\rightarrow\infty}(1-\frac {\sigma ^2}{\epsilon^2})=lim_{n\rightarrow\infty}[1-\frac{p(1-p)}{n\epsilon^2}]=1\end{split} \]

大数定律的一般形式

  伯努利大数定律的研究对象其实是一个独立同分布的随机变量序列\(\{X_n\}\),其中\(X_i\)服从两点分布,伯努利大数定律可以看作从两点分布组成的序列中选出\(n\)项来,可改写为

\[{lim_{n\rightarrow \infty}P(|\frac 1n\sum_{i=1}^{n}X_i-\frac 1n\sum_{i=1}^{n}EX_i|<\epsilon)=1} \]

  因此,服从以上表达式的任意随机变量序列均称为服从大数定律。

切比雪夫大数定律

  • 切比雪夫大数定律:随机变量序列\(\{X_n\}\)中随机变量\(X_i\)两两不相关且方差存在,即\(DX_i\leq c\),则该随机变量序列服从大数定律。

证明:由于\(X_i\)两两不相关,故

\[\sigma^2=D(\frac 1n\sum X_i)=\frac 1{n^2}\sum DX_i\leq \frac cn \]

由切比雪夫不等式可得

\[P(|\frac 1n\sum_{i=1}^{n}X_i-\frac 1n\sum_{i=1}^{n}EX_i|<\epsilon|)\geq 1-\frac {\sigma^2}{\epsilon^2}\geq 1-\frac c{n\epsilon^2} \]

故有

\[{lim_{n\rightarrow \infty}P(|\frac 1n\sum_{i=1}^{n}X_i-\frac 1n\sum_{i=1}^{n}EX_i|<\epsilon)=1} \]

马尔可夫大数定律

  • 马尔可夫条件:

\[lim_{n\rightarrow\infty}\frac {D(\sum X_i)}{n^2}=0 \]

满足马尔可夫条件的随机变量序列服从大数定律。

辛钦大数定律

  • 辛钦大数定律:随机变序列\(\{X_n\}\)独立同分布且均值存在,方差不存在,则服从大数定律。

证明:我也不会。

中心极限定理

  大数定律讨论的是在什么情况下,随机变量序列的算术平均依概率收敛于其均值的算术平均,中心极限定理讨论的是在什么条件下,独立随机变量和

\[Y_n = \sum_{i=1}^n X_i \]

收敛于正态分布。

独立同分布下的中心极限定理

林德伯格-莱维中心极限定理:设\(\{X_n\}\)是独立同分布的随机变量序列,\(EX_n=\mu\)\(DX_n=\sigma^2\),设

\[Y_n=\frac{\sum X_i-n\mu}{\sqrt n\sigma} \]

则当\(n\rightarrow\infty\)时,\(Y_n\)近似服从标准正态分布,即

\[lim_{n\rightarrow\infty}P(Y_n\leq y)=F_Y(y)=\frac 1{\sqrt {2\pi}}\int_{-\infty}^y e^{\frac{-t^2}2}dt \]

证明:要证原命题只需证\(Y_n\)的特征函数收敛于标准正态分布即可,设\(X-\mu\)的特征函数为\(\varphi(t)\),则\(Y_n\)的特征函数为

\[\varphi_{Y_n}(t)=[\varphi(\frac t{\sqrt n \sigma})]^n \]

由于\(E(X-\mu)=0,E(X-\mu)^2=D(X-\mu)=\sigma^2\),故

\[\varphi'(0)=0,\varphi''(0)=-\sigma^2 \]

由泰勒公式,

\[\varphi(t)=\varphi(0)+\varphi'(0)t+\frac 12\varphi''(0)t^2+o(t^2) \]

\[lim_{n\rightarrow\infty}\varphi_ {Y_n}(t)=lim_{n\rightarrow\infty}(1-\frac 12\sigma^2\frac {t^2}{n\sigma^2})^n=e^{-\frac 12t^2} \]

原命题得证。

蒂莫弗-拉普拉斯中心极限定理

  • 蒂莫弗-拉普拉斯中心极限定理:随机变量\(X\)为两点分布时的独立随机变量的中心极限定理。

独立不同分布下的中心极限定理

  • 林德伯格中心极限定理
    • 林德伯格条件:对于任意的\(\tau>0\),有

    \[lim_{n\rightarrow\infty}\frac 1{\sigma^2\tau^2}\sum_{i=1}{n}\int_{|x-\mu_i|>\tau\sigma}(x-\mu_i)^2f_i(x)dx=0 \]

满足林德伯格条件的独立随机变量序列有中心极限定理。

posted @ 2021-08-09 21:57  HH丶丶  阅读(841)  评论(0编辑  收藏  举报