目录
随机变量序列的两种收敛性
- 依概率收敛:设\(\{X_n\}\)为一随机变量序列,\(X\)为一随机变量,若对于任意\(\epsilon>0\),有
\[P(|X_n-X|\geq\epsilon)\rightarrow0(n\rightarrow \infty)
\]
则称序列\(\{X_n\}\)依概率收敛于\(X\),记作\(X_n\xrightarrow[]{P}X\)
\[X_n\xrightarrow[]{P}a
\]
\[Y_n\xrightarrow{P}b
\]
则:
\[X_n\pm Y_n\xrightarrow[]{P}a\pm b
\]
\[X_nY_n\xrightarrow[]{P}ab
\]
\[X_n\div Y_n \xrightarrow[]{P}a\div b
\]
- 弱收敛(按分布收敛):随机变量\(X,X_1,X_2…\)的分布函数为\(F(x),F_1(x),F_2(x)…\),若对于\(F(x)\)的任意一个连续点\(x\),有
\[lim_{n\rightarrow\infty}F_n(x)=F(x)
\]
则称分布函数序列\(\{F_n(x)\}\)弱收敛于\(F(x)\),记作
\[F_n(x)\xrightarrow{W}F(x)
\]
也称\(\{X_n\}\)按分布收敛于\(X\),记作
\[X_n\xrightarrow{L}X
\]
特征函数
\[\varphi(t)=E(e^{itX})
\]
为X的特征函数。
常用分布的特征函数
\[\varphi(t)=\sum e^{itx}\frac{\lambda^ke^{-\lambda}}{k!}=e^{-\lambda}\sum\frac{(\lambda e^{it})^k}{k!}=e^{\lambda(e^{it}-1)}
\]
\[\varphi(t)=\int_a^b\frac{e^{itx}}{b-a}dx=\frac{e^{itb}-e^{ita}}{it(b-a)}
\]
\[\varphi(t)=e^{-\frac 12 t^2}
\]
证明:
\[\begin {split}\varphi(t)&=\int_{-\infty}^{\infty}e^{itx}\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx
\\&=\frac1{\sqrt{2\pi}}\int_{-\infty}^{\infty}\sum_{n=0}^{\infty}\frac {(itx)^n}{n!}e^{-\frac 12x^2}dx
\\&=\sum_{n=0}^{\infty}\frac {(it)^n}{n!}[\int_{-\infty}^{\infty}x^n\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}]dx
\\&=\sum_{n=0}^{\infty}\frac {(it)^n}{n!}E(X^n)\end {split}\]
当n为奇数时,
\[E(X^n)=\int_{-\infty}^{\infty}x^n\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx=0
\]
当n为偶数时,
\[\begin{split}E(X^n)=E(X^{2m})
&=\int_{-\infty}^{\infty}x^{2m}\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx
\\&=\frac1{\sqrt{2\pi}} \int_{-\infty}^{\infty}-x^{2m-1}d(e^{-\frac 12x^2})
\\&=\frac1{\sqrt{2\pi}}(2m-1) \int_{-\infty}^{\infty}x^{2m-2}e^{-\frac 12x^2}dx
\\&= (2m-1)(2m-3)…1\int_{-\infty}^{\infty}\frac1{\sqrt{2\pi}}e^{-\frac 12x^2}dx
\\&=(2m-1)!!
\\&=\frac{2m!}{2^m(m-1)!}
\end {split}\]
故
\[\begin{split}\varphi(t)
&=\sum_{m=0}^{\infty}\frac {(it)^{2m}}{(2m)!}E(X^{2m})
\\&=\sum_{m=0}^{\infty}\frac {(it)^{2m}}{(2m)!}\frac{2m!}{2^m(m-1)!}
\\&=\sum_{m=0}^{\infty}\frac{(-\frac{t^2}{2})^m}{m!}
\\&=e^{-\frac 12t^2}
\end{split}\]
\[\varphi(t)=(1-\frac{it}\lambda)^{-1}
\]
证明:
\[\begin{split}
\varphi(t)&=\int_0^{\infty}e^{itx}\lambda e^{-\lambda x}dx
\\&=\lambda[\int_0^{\infty}cos(tx)e^{-\lambda x}dx+i\int_0^{\infty}sin(tx)e^{-\lambda x}dx]
\end{split}\]
\[\begin{split}
I&=\int_0^{\infty}cos(tx)e^{-\lambda x}dx
\\&=\int_0^{\infty}\frac 1te^{-\lambda x}dsin(tx)
\\&=\frac \lambda t\int_0^{\infty}sin(tx)e^{-\lambda x}dx
\\&=-\frac \lambda {t^2} [-1+\lambda \int_0^{\infty}cos(tx)e^{-\lambda x}dx]
\\&=-\frac{\lambda^2}{t^2}I+\frac{\lambda}{t^2}
\end{split}\]
故
\[I = \frac {\lambda}{\lambda^2+t^2}
\]
\[\begin{split}\varphi(t)&=\lambda(\frac {\lambda}{\lambda^2+t^2}+i\frac {t}{\lambda^2+t^2})
\\&=\frac \lambda{\lambda^2+t^2}(\lambda+it)
\\&=\frac \lambda{\lambda-it}
\\&=(1-\frac{it}\lambda)^{-1}
\end{split}\]
特征函数的性质
- \(|\varphi(t)|\leq \varphi(0)=1\)
证明:
\[|\varphi(t)|=|\int e^{itx}f(x)dx|\leq\int|e^{itx}|f(x)dx=1
\]
\[\varphi_Y(t)=e^{ibt}\varphi_X(at)
\]
证明:
\[\varphi_Y(t)=\int e^{it(ax+b)}f(x)dx=e^{itb}\int e^{itax}f(x)dx=e^{ibt}\varphi_X(at)
\]
\[\varphi_{X+Y}(t)=\varphi_X(t)\varphi_Y(t)
\]
证明:
\[E(e^{it(X+Y)})=E(e^{itx}e^{ity})=E(e^{itx})E(e^{ity})=\varphi_X(t)\varphi_Y(t)
\]
- 若\(E(X^l)\)存在,则\(X\)的特征函数l次可导,且对\(1\leq k\leq l\)有
\[\varphi^{(k)} (0)=i^kE(X^k)
\]
证明:
\[\varphi^{(k)}(t)=\int i^kx^ke^{ixt}f(x)dx
\]
将\(t=0\)代入得
\[\varphi^{(k)}(0)=i^k\int x^kf(x)dx=i^kE(X^k)
\]
大数定律
概率是频率的稳定值,其中稳定是什么意思?大数定律详细的描述了这个问题。
大数定律指的是随机变量序列的平均值,依概率收敛于各个随机变量均值的平均值。
伯努利大数定律
伯努利大数定律说明这样一个事实:对于一个服从伯努利分布的事件\(s_n\),随着试验次数\(n\)的增加,事件发生的频率\(f=\frac{s_n}n\)与概率\(p\)的偏差的绝对值\(|\frac{s_n}n-p|\)大于给定精度\(\epsilon\)的概率越来越小,这就是概率是频率的稳定值的数学描述。即频率\(f\)是概率\(p\)的一个点估计量,且是无偏的。
- 伯努利大数定律:设\(s_n \sim B(n,p)\),则对于任意的\(\epsilon>0\),有
\[lim_{n\rightarrow\infty}P(|\frac{s_n}{n}-p|<\epsilon)=1
\]
证明:由于
\[s_n\sim B(n,p)
\]
故
\[E(\frac{s_n}n)=\frac 1nE(s_n)=p
\]
\[\sigma^2 = D(\frac {s_n}n)=\frac 1{n^2}D(s_n)=\frac{p(1-p)}{n}
\]
切比雪夫不等式可知
\[P(|\frac{s_n}{n}-p|<\epsilon)\geq 1-\frac{\sigma^2}{\epsilon^2}
\]
故
\[\begin{split}lim_{n\rightarrow\infty}P(|\frac{s_n}{n}-p|<\epsilon)\geq lim_{n\rightarrow\infty}(1-\frac {\sigma ^2}{\epsilon^2})=lim_{n\rightarrow\infty}[1-\frac{p(1-p)}{n\epsilon^2}]=1\end{split}
\]
大数定律的一般形式
伯努利大数定律的研究对象其实是一个独立同分布的随机变量序列\(\{X_n\}\),其中\(X_i\)服从两点分布,伯努利大数定律可以看作从两点分布组成的序列中选出\(n\)项来,可改写为
\[{lim_{n\rightarrow \infty}P(|\frac 1n\sum_{i=1}^{n}X_i-\frac 1n\sum_{i=1}^{n}EX_i|<\epsilon)=1}
\]
因此,服从以上表达式的任意随机变量序列均称为服从大数定律。
切比雪夫大数定律
- 切比雪夫大数定律:随机变量序列\(\{X_n\}\)中随机变量\(X_i\)两两不相关且方差存在,即\(DX_i\leq c\),则该随机变量序列服从大数定律。
证明:由于\(X_i\)两两不相关,故
\[\sigma^2=D(\frac 1n\sum X_i)=\frac 1{n^2}\sum DX_i\leq \frac cn
\]
由切比雪夫不等式可得
\[P(|\frac 1n\sum_{i=1}^{n}X_i-\frac 1n\sum_{i=1}^{n}EX_i|<\epsilon|)\geq 1-\frac {\sigma^2}{\epsilon^2}\geq 1-\frac c{n\epsilon^2}
\]
故有
\[{lim_{n\rightarrow \infty}P(|\frac 1n\sum_{i=1}^{n}X_i-\frac 1n\sum_{i=1}^{n}EX_i|<\epsilon)=1}
\]
马尔可夫大数定律
\[lim_{n\rightarrow\infty}\frac {D(\sum X_i)}{n^2}=0
\]
满足马尔可夫条件的随机变量序列服从大数定律。
辛钦大数定律
- 辛钦大数定律:随机变序列\(\{X_n\}\)独立同分布且均值存在,方差不存在,则服从大数定律。
证明:我也不会。
中心极限定理
大数定律讨论的是在什么情况下,随机变量序列的算术平均依概率收敛于其均值的算术平均,中心极限定理讨论的是在什么条件下,独立随机变量和
\[Y_n = \sum_{i=1}^n X_i
\]
收敛于正态分布。
独立同分布下的中心极限定理
林德伯格-莱维中心极限定理:设\(\{X_n\}\)是独立同分布的随机变量序列,\(EX_n=\mu\),\(DX_n=\sigma^2\),设
\[Y_n=\frac{\sum X_i-n\mu}{\sqrt n\sigma}
\]
则当\(n\rightarrow\infty\)时,\(Y_n\)近似服从标准正态分布,即
\[lim_{n\rightarrow\infty}P(Y_n\leq y)=F_Y(y)=\frac 1{\sqrt {2\pi}}\int_{-\infty}^y e^{\frac{-t^2}2}dt
\]
证明:要证原命题只需证\(Y_n\)的特征函数收敛于标准正态分布即可,设\(X-\mu\)的特征函数为\(\varphi(t)\),则\(Y_n\)的特征函数为
\[\varphi_{Y_n}(t)=[\varphi(\frac t{\sqrt n \sigma})]^n
\]
由于\(E(X-\mu)=0,E(X-\mu)^2=D(X-\mu)=\sigma^2\),故
\[\varphi'(0)=0,\varphi''(0)=-\sigma^2
\]
由泰勒公式,
\[\varphi(t)=\varphi(0)+\varphi'(0)t+\frac 12\varphi''(0)t^2+o(t^2)
\]
故
\[lim_{n\rightarrow\infty}\varphi_ {Y_n}(t)=lim_{n\rightarrow\infty}(1-\frac 12\sigma^2\frac {t^2}{n\sigma^2})^n=e^{-\frac 12t^2}
\]
原命题得证。
蒂莫弗-拉普拉斯中心极限定理
- 蒂莫弗-拉普拉斯中心极限定理:随机变量\(X\)为两点分布时的独立随机变量的中心极限定理。
独立不同分布下的中心极限定理
满足林德伯格条件的独立随机变量序列有中心极限定理。