随机变量的数字特征

数学期望

• 数学期望：概率意义上的均值。

离散型

若随机变量 \(X\) 服从于分布列 \(P(X=x_{k})=p_{k}\)，且 \(\sum_{k=1}^{\infty} x_kp_k\) 绝对收敛，则数学期望为

\[EX = \sum_{k=1}^{\infty} x_kp_k \]

连续型

若随机变量\(X\) 服从于概率密度函数 \(p(x)\)，且 \(\int_{-\infty}^{\infty} xp(x)dx\) 绝对收敛，则数学期望为

\[EX=\int_{-\infty}^{\infty} xp(x)dx \]

一维随机变量函数的期望

• 若 \(Y = g(X)\) 为随机变量 \(X\) 的函数，则

\[\mathrm{E}Y=\mathrm{E}(g(X))=\begin{cases}\sum_{k=1}^\infty g(x_k)p_k\\\int_{-\infty}^\infty g(x)p(x)\mathrm{d}x\end{cases} \]

二维随机变量函数的期望

若 \(Z = g(X,Y)\) 是二维随机变量 \((X,Y)\) 的函数，则

\[EZ=\mathrm{E}g(X,Y)=\left\{\begin{array}{ll}\sum_{i,j}g(x_i,y_j)p_{ij},&\text{离散情形}\\\iint g(x,y)p(x,y)\mathrm{d}x\mathrm{d}y,&\text{连续情形}\end{array}\right. \]

性质

• 若\(c\)为常数： \(E(c) = c\)
• 线性性质：
  • \(E(aX) = aE(X)\)
  • \(E(f(X)+g(X)) = E(f(X))+E(g(X))\)
  • \(E(f(X)+g(Y)) = E(f(X)) + E(g(Y))\)
• 若\(X,Y\)相互独立，\(E(f(X)g(Y)) = E(f(X)) E(g(Y))\)

方差

• 定义式：方差反映了X取值的离散（偏离）程度

\[VarX = E(X-EX)^2 =DX \]

• 标准差

\[\sigma_X =\sqrt{Var X} \]

性质

• \(Var(c)=0\)，\(c\) 是常数
• \(Var(aX+b) = a^2VarX\)
• \(Var(X) = E(X^2) - (EX)^2\)
• \(Var(X)\ge 0\)
• \(Var(X \pm Y) =VarX+VarY\pm 2E[(X-EX)(Y-EY)]\)
• 若 \(X,Y\) 相互独立，\(Var(X+Y) = VarX+VarY\)

常见分布的概率和方差

二项分布

\[X\sim b(n,p) \]

\[p_k = P(X=k)=C_n^kp^k(1-p)^{n-k} \]

\[EX = np \]

\[VarX = np(1-p) \]

几何分布

\[X\sim Ge(p) \]

\[P(X=k) = (1-p)^{k-1}p \]

\[EX = \frac{1}{p} \]

\[VarX = \frac{1-p}{p^2} \]

泊松分布

\[X\sim P(\lambda) \]

\[P(X=k) = \frac{\lambda^k}{k!}e^{-\lambda} (k=0,1,2,...) \]

\[EX=VarX=\lambda \]

指数分布

\[X\sim exp(\lambda) \]

\[p(x)=\left\{\begin{array}{ll}\lambda\cdot e^{-\lambda x},&x>0;\\0,&x\leq0.\end{array}\right. \]

\[EX= \frac{1}{\lambda} \]

\[VarX = \frac{1}{\lambda^2} \]

均匀分布

\[X\sim U(a,b) \]

\[EX = \frac{a+b}{2} \]

\[VarX = \frac{(b-a)^2}{12} \]

正态分布

\[X\sim N(\mu,\sigma^2) \]

\[p(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} \]

\[EX=\mu \]

\[VarX=\sigma^2 \]

伽马分布

\[X\sim Ga(\alpha,\lambda) \]

\[EX = \frac{\alpha}{\lambda} \]

\[VarX = \frac{\alpha}{\lambda^2} \]

切比雪夫不等式

随机变量\(X\) 的期望方差存在，则对于任意的 \(\epsilon >0\)

\[P(|X-EX|\ge \epsilon) \le \frac{VarX}{\epsilon^2} \]

协方差

对于二维随机变量\((X,Y)\)，若\(E(X-EX)(Y-EY)\) 存在，则称其为协方差

\[Cov(X,Y) = E(X-EX)(Y-EY) \]

计算式

\[Cov(X,Y) = E(XY) -EXEY \]

性质

• \(Cov(X,Y) = Cov(Y,X)\)
• \(Cov(X,c) = 0\)，\(c\) 为常数
• \(Cov(aX,bY) = abCov(X,Y)\)
• \(Cov(X,X)=VarX\)
• \(Cov(X\pm Y,Z) = Cov(X,Z) \pm Cov(Y,Z)\)
• 若\(X,Y\)相互独立，\(Cov(X,Y)=0\)
• \(Var(X\pm Y) = VarX+VarY\pm 2Cov(X,Y)\)

相关系数

对于二维随机变量\((X,Y)\)，则

\[\rho_{XY}=Corr(X,Y) = \frac{Cov(X,Y)}{\sqrt{VarX}\sqrt{VarY}} \]

性质

• \(|\rho_{XY}|\le 1\)，\(\rho_{XY}=\rho_{YX}\)，\(\rho_{XX}=1\)
• \(|\rho_{XY}|=1\)充要条件是 \(X,Y\) 以概率1线性相关，\(P(Y=aX+b)=1,(a\not = 0)\)
• \(|\rho_{XY}|\)越接近1，则\(X\) 与 \(Y\) 的线性相关程度越大

独立与不相关的联系

• \(X,Y\) 独立是 \(X,Y\) 不相关的充分不必要条件。
• 不相关指的是\(Corr(X,Y) = 0\)

\[\rho_{XY}=0 \Leftrightarrow Cov(X,Y)=0\Leftrightarrow EXY=EXEY \Leftrightarrow Var(X\pm Y) = VarX +VarY \]

• 若\(X,Y\) 服从于二维正态分布，则\(X,Y\)独立当且仅当它们不独立

依概率收敛

\(\{X_n\}\) 是一个随机变量序列，对于任意\(\epsilon>0\)，\(X\)是一个常数

\[\lim_{n\to\infty}P(|X_{n}-X|\geq\epsilon)=0 \]

\[\lim_{n\to\infty}P(|X_{n}-X|<\epsilon)=1 \]

记作

\[X_{n}\xrightarrow{P}X. \]

• \(X_n\xrightarrow{P}X\) 当且仅当 \(X_n-X\xrightarrow{P} 0\).
• 若\(X_n\xrightarrow{P}a\)，\(f(x)\) 在点\(a\) 连续，则\(f(X_n)\xrightarrow{P}f(a)\)
• 若\(X_n\xrightarrow{P}a\),\(Y_n\xrightarrow{P}b\)，\(f(x,y)\) 在点\((a,b)\) 连续，则\(f(X_n,Y_n)\xrightarrow{P}f(a,b)\)

大数定律

若随机变量序列 \(\{X_n\},n\ge 1\) 满足大数定律，则

\[\frac{S_n -ES_n}{n}\xrightarrow{P}0 \]

其中

\[S_n = \sum_{i=1}^n X_i \]

即 算数平均收敛于它自己的期望

\[\frac{1}{n}S_n\xrightarrow{P} E(\frac{1}{n}S_n) =\frac{1}{n}E(S_n) \]

\[\frac{1}{n}\sum_{i=1}^n X_i \xrightarrow{P} E(\frac{1}{n}\sum_{i=1}^n X_i)=\frac{1}{n}E(\sum_{i=1}^n X_i) =\frac{1}{n}\sum_{i=1}^n EX_i \]

伯努利大数定律

若\(\{X_n,n\ge 1\}\)独立同分布，且共同为\(b(n,p)\)，则

\[\frac{S_n}{n} \xrightarrow{P} \frac{np}{n}=p \]

切比雪夫大数定律

若随机变量序列\(\{X_n\}\)，\(n\ge 1\)，两两不相关，且方差一致有界，则满足大数定律。

辛钦大数定律

若随机变量序列\(\{X_n,n\ge 1\}\) 独立同分布，且数学期望\(EX_i\)存在，则满足大数定律

马尔可夫大数定律

若随机变量序列\(\{X_n,n\ge 1\}\) 满足马尔可夫条件

\[\frac{1}{n^2}\mathrm{Var}\left(\sum_{k=1}^nX_k\right)\to0 \]

则满足大数定律

中心极限定理

林德贝格一勒维中心极限定理

若\(\{X_n,n\ge 1\}\)，独立同分布，存在期望\(\mu\) 和方差 \(\sigma^2\)，则对任意实数 \(y\) 有

\[\lim_{n\to\infty}P\left\{\frac{\sum_{k=1}^nX_k-n\mu}{\sigma\sqrt{n}}\leq y\right\}=\Phi(y), \]

即，当\(n\rightarrow \infty\) 时，\(\sum_{i=1}^{n} X_i\) 近似服从于正态分布 \(N(n\mu,n\sigma^2)\)
标准化后

\[\frac{\sum_{i=1}^{n} X_i -n\mu}{\sqrt n\sigma}\sim N(0,1) \]

德莫弗一拉普拉斯中心极限定理

若\(Y_n \sim b(n,p)\)，当\(n\rightarrow \infty\) 时

\[\lim_{n\to\infty}P\left\{\frac{Y_n-np}{\sqrt{np(1-p)}}\leq y\right\}=\Phi(y) \]

即，当\(n\rightarrow \infty\) 时，\(Y_n\sim N(np,np(1-p))\)