概率论复习笔记

$X$代表随机变量，$x$是具体的值。

规定：连续型随机变量取任意指定值的概率为$0$，即：$P(X=a)=0$

$D(aX+b)=a^2D(X)$

$E(aX+b)=aE(X)$

无论$X、Y$是否相互独立，都有$E(X+Y)=E(X)+E(Y)$

当相互独立时，有$E(XY)=E(X)E(Y)$

当相互独立时，有$D(X\pm Y)=D(X)+D(Y)$，可以通过$D(aX+ bY+c)=a^2D(X)+b^2D(Y)+2abCov(X,Y)$，而$Cov(X,Y)=\rho_{XY}\sqrt{D(X)D(Y)}$，而$\rho_{XY}=0$得到。

随便推几个式子。

总体服从$N(\mu,\sigma^2)$，即对任意$X_i \sim N(\mu,\sigma^2)$ 。那么根据中心极限定理$\sum_\limits{i=1}^{n} X_i \sim N(n\mu,n\sigma^2)$，于是$\overline{X}=\frac{\sum_\limits{i=1}^{n}X_i}{n}\sim N(\mu,\frac{\sigma^2}{n})$。

1.$\frac{1}{\sigma^2}\sum\limits_{i=1}^{n}(X_i-\overline{X})^2 = \frac{1}{\sigma^2}\sum\limits_{i=1}^{n}N^2(0,\frac{n-1}{n}\sigma^2) = \frac{1}{\sigma^2}\sum\limits_{i=1}^{n}( \sqrt{{\frac{n-1}{n}}}\sigma N(0,1))^2$

$=\frac{n-1}{n}\sum\limits_{i=1}^{n} N^2(0,1)=\frac{n-1}{n}N^2(0,n)=N^2(0,n-1)=\sum\limits_{i=1}^{n-1}N^2(0,1)\sim \chi^2(n-1)$

2.于是$\frac{1}{\sigma^2}\sum\limits_{i=1}^{n} (X_i-\mu)^2= \frac{1}{\sigma^2}\sum\limits_{i=1}^{n} N^2(0,\sigma^2) = \sum\limits_{i=1}^{n} N^2(0,1) \sim \chi^2(n)$

3.$\frac{n (\overline{X}-\mu)^2}{\sigma^2} = \frac{n N^2(0,\frac{\sigma^2}{n})}{\sigma^2}=\frac{n (\frac{\sigma}{\sqrt{n}} N(0,1))^2}{\sigma^2}=N^2(0,1)\sim \chi^2(1)$

4.$\frac{(n-1)S^2}{\sigma^2}= \frac{1}{\sigma^2}\sum\limits_{i=1}^{n}(X_i-\overline{X})^2 \sim \chi^2(n-1)$

5.$\frac{\sqrt{n} (\overline{X}-\mu)}{S} = \frac{N(0,\sigma^2)}{\sqrt{\frac{1}{n-1}\sum\limits_{i=1}^{n}(X_i-\overline{X})^2}} = \frac{N(0,\sigma^2)}{\sqrt{\frac{1}{n-1}\sum\limits_{i=1}^{n}(X_i-\overline{X})^2}}=\frac{N(0,\sigma^2)}{\sqrt{\frac{1}{n-1}\sigma^2 \sum\limits_{i=1}^{n} N^2(0,\frac{n-1}{n})}}=\frac{N(0,1)}{\sqrt{\frac{1}{n-1} N^2(0,n-1)}}$

$=\frac{N(0,1)}{\sqrt{\frac{1}{n-1} \sum\limits_{i=1}^{n-1} N^2(0,1)}}\sim t(n-1)$

全概率公式和贝叶斯公式

设$B$是$A$的一个划分。

$P(A)=P(AB_1 \cup A B_2 \cup ...\cup AB_n)=P(AB_1)+...+P(AB_n)$

$=P(A|B_1)P(B_1)+...+P(A|B_n)P(B_n)$

贝叶斯公式

$P(B_1|A)=\frac{P(AB_1)}{P(A)}=\frac{P(B_1)P(A|B_1)}{全概率公式}$

概率密度函数$f(x)$

某个邻域内概率的变化快慢。概率密度函数的值是概率的变化率，概率密度函数的面积才是概率。

于是可以得知$(a,b]$的概率：$P(a<X\le b)=\int_a^bf(x)dx$

性质：$f(x)\ge 0$ ，$\int_{-\infty}^{\infty}f(x)dx=1$。这两点是判断$f(x)$是否是概率密度函数的充要条件。

已知$X$的概率密度函数。

$Y=G(X)$

$F_Y(y)=P\{Y\le y\}=P\{G(X)\le y\}=P\{G^{-1}(G(X))\le G^{-1}(y) \}=P\{X\le G^{-1}(y) \}$

$=\int_{-\infty}^{G^{-1}(y)}f_X(x)dx$

根据$x$的分段点，给$y$做对应的分类讨论即可。

概率分布函数$F(x)$

是$X$取$\le x$的概率之和，故又称概率累积概率函数。

于是可以得知$(a,b]$的概率：$P(a<X\le b)=F(b)-F(a)$

两者的联系

$F(x)=\int_{-\infty}^{\infty}f(t)dt$

$f(x)=F'(x)$

由密度函数$f$求分布函数$F$

$F(x),$ $F_X(x)$，$X$的分布函数，$P\{X\le x\}$都是同一概念。

一维

$f(x)=\begin{cases} 0, x\le 0\\e^{-x},x>0 \end{cases}$

已知$Y=\begin{cases} 2,X\le 1\\X,X>1 \end{cases}$，求$F(y)$

$F(y)=P(Y\le y)=P(2\le y,X\le 1)+P(X \le y,X>1)$

$=\begin{cases} \int_{-\infty}^{1}f(x)dx,y\ge2\\0,y<2 \end{cases}+\begin{cases}\int_{1}^{y}f(x)dx,y\ge1\\0,y<1 \end{cases}$

$=\begin{cases} 1-e^{-1},y\ge2\\0,y<2 \end{cases}+\begin{cases} e^{-1}-e^{-y},y\ge1\\0,y<1 \end{cases}$

$=\begin{cases} 0,y<1 \\e^{-1}-e^{-y},1\le y<2\\1-e^{-y},y\ge 2 \end{cases}$

二维连续型求概率，求$(X,Y)$的联合分布函数，求$F(x,y)$，求$P\{X\le x,Y\le y \}$是同一概念。

二维：

例1.

$f(x,y)=\begin{cases} 2-x-y, \;\;0<x<1,0<y<1\\0,其他 \end{cases}$

求$P\{X>2Y\}$

$P\{X>2Y\}=\iint\limits_{D}(2-x-y)dxdy$

$D$是满足条件的区域即$Y\le\frac{X}{2}$与$f(x,y)$非零区域的交集。

画图可知，结果为$\iint\limits_{D}(2-x-y)dxdy=\int_0^{1}dx\int_0^{\frac{x}{2}}(2-x-y)dy=\frac{7}{24}$

例2.

$f(x,y)=\begin{cases} x+y, \;\;0<x<1,0<y<1\\0,其他 \end{cases}$

求$P\{X\le x,Y\le y\}$

$\iint\limits_{D}(x+y)dxdy=\begin{cases} \frac{x^2y}{2}+\frac{xy^2}{2} ,\;0< x<1,0<y<1 \\ \frac{x^2}{2}+\frac{x}{2},\;0<x<1,y\ge1 \\ 1,\;x\ge1,y\ge1 \\ \frac{y}{2}+\frac{y^2}{2} ,\; x\ge1,0<y<1 \\0,其他 \end{cases}$

由分布函数$F$求密度函数$f$

一维：求导

二维：求$x$和$y$的混合偏导

由密度函数$f$求另一个密度函数$f$

一维

先求$F$，然后再求导得$f$。

例1.

$f(x)=\begin{cases} 0, x\le 0\\e^{-x},x>0 \end{cases}$

已知$Y=2X$，求$f_Y(y)$。

$F(y)=P\{Y\le y \}=P\{2X\le y\}=P\{X \le \frac{y}{2}\}$

当$y\le 0$，$F(y)=0$；当$y >0$，$F(y)=\int _0^{\frac{y}{2}}e^{-x}dx=1-e^{-\frac{y}{2}}$

$f(y)=\begin{cases} \frac{1}{2}e^{-\frac{y}{2}},y>0\\0,y\le 0 \end{cases}$

二维

先求$F$，然后再求导得$f$。

例1.

$f(x,y)=\begin{cases} 2e^{-(x+2y)} ,\;\;x>0,y>0 \\0,其他 \end{cases}$

已知$Z=X+2Y$，求$f_Z(z)$

$F(z)=P\{Z\le z\}=P\{X+2Y\le z \}$

$Y\le \frac{z}{2}-\frac{X}{2}$，画图可知，当$z\le 0$交集为空。

$F(z)=\iint\limits_D 2e^{-(x+2y)}dxdy=\int_0^z 2e^{-x}dx\int_0^{\frac{z}{2}-\frac{X}{2}}e^{-2y}dy=1-e^{-z}-ze^{-z}$，$z\ge 0$

于是，求导可得，$f(z)=\begin{cases} ze^{-z},z\ge0 \\0,z<0 \end{cases}$

二维连续型求边缘分布函数

边缘概率分布函数的含义

$F_X(x)=P\{X\le x,Y \le +\infty \}=F_X(x,+\infty)$

$F_Y(y)=P\{X \le +\infty, Y\le y\}=F(+\infty,y)$

例题.

设随机变量$(X,Y)$的分布函数：

$F(x,y)=\frac{1}{\pi^2}(\frac{\pi}{2}+arctanx)(\frac{\pi}{2}+arctan2y)$，$-\infty<x<+\infty$，$-\infty <y<+\infty$

于是$F_X(x)=\frac{1}{\pi^2}(\frac{\pi}{2}+arctanx)(\pi)=\frac{1}{2}+\frac{1}{\pi}arctanx$

$F_Y(y)=\frac{1}{\pi^2}(\frac{\pi}{2}+arctan2y)(\pi)=\frac{1}{2}+\frac{1}{\pi}arctan2y$

二维连续型求边缘概率密度函数

$f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy$，$f_Y(y)=\int_{-\infty}^{+\infty}f(x,y)dx$

例1.

设区域$G$是由$x-y=0,x+y=2$与$y=0$所围成的三角形区域，二维随机变量$(X,Y)$的概率密度为

$f(x,y)=\begin{cases} 1,(x,y)\in G\\0,其他 \end{cases}$

求$(X,Y)$的边缘概率密度

$f_X(x)=\begin{cases} \int_{0}^{x}1dy, 0\le x\le1\\\int_{0}^{2-x}1dy, 1<x \le2\\0,其他 \end{cases}=\begin{cases} x, 0\le x\le1\\2-x, 1<x\le 2\\0,其他 \end{cases}$

$f_Y(y)=\begin{cases} \int_{y}^{2-y}1dx, 0\le y\le1 \\ \\0,其他 \end{cases}=\begin{cases}2-2y, 0\le y\le1 \\ \\0,其他 \end{cases}$

例2.

$f(x,y)=\begin{cases} 2e^{-(x+2y)} ,\;\;x>0,y>0 \\0,其他 \end{cases}$

求$(X,Y)$边缘概率密度$f_X(x)$和$f_Y(y)$。

$f_X(x)=\begin{cases}\int_0^{+\infty}2e^{-x}e^{-2y}dy,x>0\\0,其他 \end{cases}=\begin{cases} e^{-x},x>0 \\0,其他 \end{cases}$

$f_Y(y)=\begin{cases}\int_0^{+\infty}2e^{-x}e^{-2y}dx,y>0\\0,其他 \end{cases}=\begin{cases} 2e^{-2y},y>0 \\0,其他 \end{cases}$

$f_X(x)f_Y(y)=f(x,y) \Longleftrightarrow 独立$

条件概率密度函数

由条件概率公式$f(x|y)=\frac{f(xy)}{f(y)}$

可以推广到这里 $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$ ，$f(x,y)=f_{X|Y}(x|y) \cdot f_Y(y)$。

注意计算的时候要注意分母不能为$0$.

例1.

设区域$G$是由$x-y=0$，$x+y=2$，$y=0$围成的三角形区域，二维随机变量$(X,Y)$的概率为

$\begin{cases}f(x,y)=1,(x,y)\in G\\0,其他 \end{cases}$，求条件概率密度$f_{X|Y}(x|y)$。

先求出边缘概率密度$f_Y(y)=\begin{cases} 2-2y,0\le y \le1 \\0,其他 \end{cases}$

由于分母不能为0即$2-2y\ne 0$，所以$0\le y<1$。

于是$f_{X|Y}(x|y)=\begin{cases}\frac{1}{2-2y},y\le x \le2-y \\0,其他 \end{cases}$

例2.

设随机变量$X$服从$f_X(x)=\begin{cases}2x,0<x<1 \\0,其他 \end{cases}$

在$X=x(0<x<1)$的条件下，随机变量$Y$服从$f=\begin{cases} \frac{1}{2x},0<y<2x\\0,其他 \end{cases}$，求$X$和$Y$的联合概率密度函数$f(x,y)$。

$f(x,y)=f_{Y|X}(y|x)\cdot f_X(x)$，而又由题意得知$f_{Y|X}(y|x)=f$

所以，$f(x,y)=\begin{cases}1,0<x<1,0<y<2x\\0,其他 \end{cases}$

一维连续型求期望

$E(X)=\int_{-\infty}^{+\infty} xf_X(x)dx$

$E(g(x))=\int_{-\infty}^{+\infty} g(x)f_X(x)dx$

$D(x)=E(x^2)-E^2(x)$

二维连续型求期望

法1.先求出边缘概率密度，然后用一维方法求。

法2.求二重积分即可。

$E(X)=\iint\limits_D xf(x,y)$

$E(Y)=\iint\limits_D yf(x,y)$

均匀分布

$X\sim U[a,b]$ 或 $X\sim U(a,b)$，$X$在$[a,b]$或$(a,b)$上服从均匀分布

概率密度函数$f(x)=\begin{cases} \frac{1}{b-a}, \;\;a<x<b\\0, \;\;\;其他 \end{cases}$

期望$E(X)=\int_{-\infty}^{\infty}x\cdot f(x)dx=\frac{1}{b-a}\int_a^bxdx=\frac{a+b}{2}$

方差：$D(X)=E(x^2)-E^2(x)=\int_{a}^{b}x^2\cdot f(x)dx-(\frac{a+b}{2})^2=\frac{a^2+ab+b^2}{3}-(\frac{a+b}{2})^2=\frac{(a-b)^2}{12}$

二维：$(X,Y)$在区域$G$服从均匀分布。

$P=\frac{S_D}{S_G}$，其中$S$表示面积，而$D$表示区域$G$和待求的区域的重合区域。

$f(x,y)=\begin{cases} \frac{1}{S_D},(x,y)\in G \\0,其他 \end{cases}$

泊松分布

$X\sim P(\lambda)$ ，$X$服从参数为$\lambda$的泊松分布。

分布律$P(X=k)=e^{-\lambda} \frac{\lambda^k}{k!},k=0,1,...,其中\lambda>0$

期望$E(X)=\sum\limits_{i=0}^{\infty}i\cdot p_i=\sum\limits_{i=0}^{\infty}i\cdot e^{-\lambda}\frac{\lambda^i}{i!}=\lambda e^{-\lambda}\sum\limits_{i=0}^{\infty} \frac{\lambda^{i-1}}{(i-1)!}=\lambda e^{-\lambda} e^\lambda=\lambda$

方差$D(X)=E(X^2)-E^2(X)=E(X(X-1)+X)-\lambda^2$

$=\sum\limits_{i=0}^{\infty}i(i-1)\frac{\lambda^i}{i!}e^{-\lambda}+\lambda-\lambda^2=\sum\limits_{i=0}^{\infty}\lambda^2\frac{\lambda^{i-2}}{(i-2)!}e^{-\lambda}+\lambda-\lambda^2=\lambda^2-\lambda^2+\lambda=\lambda$

指数分布

$X\sim E(\lambda)$，$X$服从参数为$\lambda$的指数分布。

$P\{X在a到b之间\}=\int_{a}^{b}f(x)dx$，其中$f(x)=\begin{cases}0,x\le 0\\\lambda e^{-\lambda x},x>0 \end{cases}$

$E(X)=\frac{1}{\lambda}$，$D(X)=\frac{1}{\lambda^2}$

$P\{X已经发生事件a,还能继续发生事件b\}=P\{X能发生事件b\}$

几何分布

$X\sim Ge(p)$，一直重复某试验直至发生某事件，每次试验概率相同且独立。设停止试验时，试验重复次数是$X$，则$X\sim Ge(p)$，$p$表示单次试验中事件发生的的概率。

$P\{X=k\}=(1-p)^{k-1}p$

$E(X)=\sum\limits_{i=0}^{\infty}i\cdot (1-p)^{i-1}p=p\sum\limits_{i=0}^{\infty}i\cdot (1-p)^{i-1}$

令$f=\sum\limits_{i=0}^{\infty}i\cdot(1-p)^{i-1}=\sum\limits_{i=0}^{\infty}(i+1)\cdot(1-p)^{i}$

$(1-p)f=\sum\limits_{i=0}^{\infty}i\cdot(1-p)^{i}$

于是$p\cdot f=\sum\limits_{i=0}^{\infty}(1-p)^i=\frac{1}{1-(1-p)}=\frac{1}{p}$，于是$f=\frac{1}{p^2}$

$E(X)=p\cdot f=\frac{1}{p}$

$D(X)=\frac{1-p}{p^2}$

超几何分布

$X\sim H(N,M,n)$，不放回的取，问取出某类东西数量的期望/概率。设取出的东西中有$X$个该类别的东西，则$X\sim H(N,M,n)$。

其中$N=所有类别东西总数$，$M=该类别物品总数$,$n=不放回取的个数$。

$P\{X=k\}=\frac{C_{M}^{k}C_{N-M}^{n-k}}{C_N^n}$

$E(X)=\frac{nM}{N}$，$D(X)=\frac{nM(N-M)(N-n)}{N^2(N-1)}$

二项分布

$X\sim B(n,p)$，重复试验$n$次，某事出现次数为$X$，单次发生概率为$p$。试验之间相互独立。

$P\{X=k\}=C_n^kp^k(1-p)^{n-k}$

$E(X)=\sum\limits_{i=0}^{\infty} i\cdot C_n^i\cdot p^i(1-p)^{n-i}=n\sum\limits_{i=0}^{\infty} \cdot C_{n-1}^{i-1}\cdot p^i(1-p)^{n-i}$

$=np\sum\limits_{i=0}^{\infty} C_{n-1}^{i-1}\cdot p^{i-1}(1-p)^{n-i}=np\sum\limits_{i=0}^{\infty} C_{n-1}^{i}\cdot p^{i}(1-p)^{n-i-1}$

$=np$

$D(X)=np(1-p)$。

如果题目求某个范围的概率，计算量大，那么用$X\sim N(np,np(1-p))$

$\lim\limits_{n\rightarrow \infty} P\{\frac{X-np}{\sqrt{np(1-p)}}\le x\}=\phi(x)$

特殊情况，01分布，即n=1时的二项分布。

$X\sim B(1,p)$，期望为$p$，方差为$p(1-p)$

正态分布

$X\sim N(\mu,\sigma^2)$，$X$服从$\mu$(均值)为多少，$\sigma$(标准差)或$\sigma^2$(方差)为多少的正态分布

注意$\sigma>0$

$f(x)=\frac{1}{\sqrt{2\pi} \sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$，$-\infty<x<+\infty$

标准正态分布函数$\phi(a)=\int_{-\infty}^{a}\frac{1}{\sqrt{2\pi}}e^{\frac{-x^2}{2}}dx$

$\phi'(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}$，即与标准正态分布的概率密度函数相等。

$\phi(a)+\phi(-a)=1$，$\phi(0)=0.5$，$\phi(+\infty)=1$，$\phi(-\infty)=0$。

$\phi(a)>\phi(b)$，则$a>b$。

标准正态分布：$N(0,1)$ ，$\phi(x)=P\{X\le x\}$

$aX+c\sim N(a\mu+c,a^2\sigma^2)$

$X\sim N(\mu_1,\sigma_1^2)$、$Y\sim N(\mu_2,\sigma_2^2)$，且$X$与$Y$相互独立，则$aX+bY+cZ\sim N(a\mu_1+b\mu_2+c,a^2\sigma_1^2+b^2\sigma_2^2)$

$X\sim N(\alpha,\beta) $，那么$\frac{X-\alpha}{\sqrt{\beta}}\sim N(0,1)$

结论: $\int_{-\infty}^{+\infty} x\frac{1}{\sqrt{2\pi} \sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}=\mu$，$\int_{-\infty}^{+\infty}x^2 \frac{1}{\sqrt{2\pi} \sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}=\mu^2+\sigma^2$

证明: 由于$\int_{-\infty}^{+\infty} x\frac{1}{\sqrt{2\pi} \sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}=E(X)=\mu$ ，$\int_{-\infty}^{+\infty}x^2 \frac{1}{\sqrt{2\pi} \sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}=E(X^2)=D(X)+E^2(X)=\sigma^2+\mu^2$。

例题1.

$\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}xe^{2x-\frac{x^2}{2}}dx=\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}xe^{\frac{-x^2+4x-4+4}{2}}dx=\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}xe^{\frac{-(x-2)^2}{2}+2}dx$

$=e^2\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}xe^{\frac{-(x-2)^2}{2}}edx= 2e^2$

例题2.

$\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}x^2e^{4x-\frac{x^2}{2}}dx=\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}x^2e^{\frac{-x^2+8x-16+16}{2}}dx$

$=e^8\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}}x^2e^{\frac{-(x-4)^2}{2}}dx=17e^8$

二维正态分布

$(X,Y)\sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)$。

$(X,Y)$服从参数为$\mu_1,\mu_2$（均值），$\sigma_1,\sigma_2$（标准差/均方差），$\rho$（相关系数）的二维正态分布。

$f(x,y)=\frac{1}{2\pi\sqrt{1-\rho^2} \sigma_1\sigma_2}e^{-\frac{1}{2(1-\rho^2)}[\frac{(x-\mu_1)^2}{\sigma_1^2}+\frac{(y-\mu_2)^2}{\sigma_2^2}-\frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}]}$，其中$-1<\rho<1$

当$X\sim N(\mu_1,\sigma_1^2)$，$Y\sim N(\mu_2,\sigma_2^2)$时，$(a_1X+c_1,a_2Y+c_2)$不一定服从二维正态分布。其中$a_1,a_2,c_1,c_2$可为任意常数。

当$$(X,Y)\sim N(\mu_1,\mu_2;\sigma_1^2,\sigma_2^2;\rho)$$，则

1.$X\sim N(\mu_1,\sigma_1^2)$且$Y\sim N(\mu_2,\sigma_2^2)$

2.$a,b$不全为$0$时，$aX+bY+c \sim N(a\mu_1+b\mu_2+c,a^2\sigma_1^2+b^2\sigma_2^2+2\rho ab\sigma_1\sigma_2)$

3.$\frac{a}{b} \ne \frac{c}{d}$时，$(aX+bY,cX+dY)$也服从二维正态分布。

4.$\rho=0$即$X$与$Y$不相关时，$X$与$Y$相互独立，此时$P\{X在a和b之间，Y在c和d之间\}=P\{X在a和b之间\}\cdot P\{Y在c和d之间\}$

常见分布的数字特征

若$X$与$Y$相互独立，那么$D(X+Y)=D(X)+D(Y)$

否则$D(X+Y)=D(X)+D(Y)+2Cov(X,Y)$

$D(aX+bY+c)=a^2D(X)+b^2D(Y)+2abCov(X,Y)$

协方差$Cov(X,Y)$，即两个随机变量情况下的方差。

性质：

1.$Cov(X,Y)=E(XY)-E(X)\cdot E(Y)$

2.$\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}=\frac{Cov(X,Y)}{\sigma_X\sigma_Y}$

3.$Cov(X_1\pm X_2,Y)=Cov(X_1,Y)\pm Cov(X_2,Y)$

4.$Cov(aX,bY)=abCov(X,Y)$

$3,4$均可以由$1$推出

不相关，相互独立时的期望、方差。

$X$与$Y$相互独立，可以推出$X$与$Y$不相关。反之不成立。

$X$与$Y$不相关即$\rho_{XY}=0$ $\Longleftrightarrow$ $Cov(X,Y)=0$ $\Longleftrightarrow$ $E(XY)=E(X)\cdot E(Y)$ $\Longleftrightarrow$ $D(X\pm Y)=D(X)+D(Y)$ （注意这里无论如何都是$+$），其中$X$，$Y$分别可以换成任意未知数只含$X$，$Y$的项。

当$(X,Y)$服从二维正态分布时，$X$与$Y$不相关（$\rho_{XY}=0$）$\Longleftrightarrow$ $X$与$Y$相互独立

当$(X,Y)$不服从二维正态分布时，$X$与$Y$不相关（$\rho_{XY}=0$）$\Longleftarrow$ $X$与$Y$相互独立

切比雪夫不等式

$P\{|X-E(X)|\ge \varepsilon\}\le \frac{D(X)}{\varepsilon^2}$

辛钦大数定律

要求：独立同分布。随之而来就有期望和方差相同。

$\lim_\limits{n\rightarrow+\infty}P\left\{\left|\frac{1}{n}\sum\limits_{i=1}^{n}X_i-\frac{1}{n}\sum\limits_{i=1}^{n}E(X_i)\right|<\varepsilon\right\}=1$

中心极限定理

若$X_1,X_2,...,X_n$独立同分布。

则$\sum\limits_{i=1}^{n}X_i \sim N(E(\sum\limits_{i=1}^{n}X_i),D(\sum\limits_{i=1}^{n}X_i)) = N(nE(X),nD(X))$ 。

这里的服从是近似服从。$n$越大越近似。

计算$P\{\sum\limits_{i=1}^{n}X_i\le x\}$，需要先把$\sum\limits_{i=1}^{n}X_i$标准化，变成$P \left\{ \frac{\sum\limits_{i=1}^{n}X_i-nE(X)}{\sqrt{nD(X)}}\le \frac{x-nE(X)}{\sqrt{nD(X)}}\right\}$

此时由于不等式左边服从标准正态分布$N(0,1)$，所以答案即为$\phi(\frac{x-nE(X)}{\sqrt{nD(X)}})$

统计量

$X_{(1)}、X_{(n)}、F_{(1)}(x)、F_{(n)}(x)$

最小观测量$X_{(1)}=\min\{X_1,X_2,...,X_n\}$，其分布函数$F_{(1)}(x)=1-[1-F(x)]^n$

最大观测量$X_{(n)}=\max\{X_1,X_2,...,X_n\}$，其分布函数$F_{(n)}(x)=F(x)^n$

判断统计量：除了$X、S、n$以外，还有其他未知字母的量不是统计量。

样本均值$\overline {X}=\frac{X_1+X_2+...+X_n}{n}$

样本方差$S^2=\frac{(X_1-\overline{X})^2+(X_2-\overline{X})^2+...+(X_n-\overline{X})^2}{n-1}$

样本标准差$S=\sqrt{S^2}$

除以$n-1$是为了保证标准差是对总体标准差的无偏估计。

总体方差$\sigma^2=\frac{(X_1-\overline{X})^2+(X_2-\overline{X})^2+...+(X_n-\overline{X})^2}{n}$

总体标准差$\sigma=\sqrt{\sigma^2}$

$\overline{X}$与$S$相互独立

卡方分布

若$X\sim \chi^2(n)$：

$X=X_1^2+X_2^2+...+X_n^2$ （$其中X_i \sim N(0,1),相互独立$）

$E(X)=n$，$D(X)=2n$

图像：从原点出发，先增后减。

上$\alpha$分位点：如果后面的阴影部分面积为$\alpha$，那么就是$\chi^2_{\alpha}(n)$

满足可加性：$X_1\sim \chi^2(n)$，$X_2\sim \chi^2(m)$。并且相互独立，则$X_1+X_2 \sim \chi^2(n+m)$

$t$分布

若$X\sim t(n)$，则$X= \frac{X_1}{\sqrt{\frac{X_2}{n}}}$ （其中$X_1 \sim N(0,1)$，$X_2 \sim \chi^2(n)$ ，相互独立）

图像：类似于标准正态分布

上$\alpha$分位点：如果后面的阴影部分面积为$\alpha$，那么就是$t_{\alpha}(n)$

$F$分布

若$X\sim F(n,m)$，则$X=\frac{\frac{X_1}{n}}{\frac{X_2}{m}}$，（其中$X_1\sim \chi^2(n),X_2\sim \chi^2(m)$，相互独立）

图像：类似于$\chi^2$的图像。

上$\alpha$分位点：如果后面的阴影部分面积为$\alpha$，那么就是$F_{\alpha}(n,m)$

矩估计法

$E(X^k)$：$k$阶原点矩（简称k阶矩）。

$E([X-E(X)]^k)$：$X$的$k$阶中心矩

均值是一阶矩（原点矩），方差是二阶中心矩。

$E(X^kY^L)$：$X$和$Y$的$K+L$阶混合（原点）矩。

$E([X-E(X)]^K[Y-E(Y)]^L)$：$X$和$Y$的$K+L$阶混合中心矩。

协方差是二阶混合中心矩。

思想：$n$较大时，样本矩=总体矩。比如求一阶样本矩和一阶总体矩，就是样本均值和总体均值。令它们相等即可。求得的$\hat \theta$即为$\theta$的矩估计量。

最大似然估计法

思想：使得样本$x_1,x_2,...,x_n$发生的概率最大的$\theta$值最恰当。

第一步：写出样本似然函数：$L(x_1,x_2,...,x_n;\theta)$ ，离散型则是这$n$个概率的相乘，连续型则是密度相乘。

第二步：取对数，$\ln(L(\theta))$ 。然后求驻点$\hat \theta$即为$\theta$的最大似然估计。

估计量的无偏性：$E(\hat \theta)=\theta$，则称$\hat \theta$是$\theta$的无偏估计。

估计量的有效性：$\theta_1,\theta_2$均为$\theta$的无偏估计，且$D(\theta_1)<D(\theta_2)$，则称$\theta_1$比$\theta_2$更有效。

置信度：$1-\alpha$，落在中间的概率（置信区间）是是$1-\alpha$。

求$\mu$的区间估计

若方差$\sigma^2$已知，则用$\frac{\overline{x}-\mu}{\frac{\sigma}{\sqrt n}} \sim N(0,1)$ 然后计算 $[-z_{\frac{\alpha}{2}},z_{\frac{\alpha}{2}}]$

若方差$\sigma^2$未知，则用$\frac{\overline{x}-\mu}{\frac{s}{\sqrt n}} \sim t(n-1)$ 然后计算$[-t_{\frac{\alpha}{2}}(n-1),t_{\frac{\alpha}{2}}(n-1)]$

求$\sigma^2$的区间估计

若方差$\mu$未知，则用$\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$ 然后计算$[\chi^2_{1-\frac{\alpha}{2}}(n-1),\chi^2_{\frac{\alpha}{2}}(n-1)]$

假设检验

第一步：提出假设，$原假设H_0 :\mu=\mu_0$ ，$对立假设H_1:\mu\ne \mu_0$

第二步：

检查均值$\mu$

若方差$\sigma^2$已知，则用$\frac{\overline{x}-z}{\frac{\sigma}{\sqrt n}} \sim N(0,1)$ $(U检验)$

若方差$\sigma^2$未知，则用$\frac{\overline{x}-z}{\frac{s}{\sqrt n}} \sim t(n-1)$ $(T检验)$

检查方差$\sigma^2$

用$\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$ $(\chi^2检验)$

第三步：拒绝域：小概率事件对应的区间（就是两边的区域）