概率论 - 随机变量的数字特征

概率论 - 随机变量的数字特征

目录

• 概率论 - 随机变量的数字特征
  • 1 数学期望
    • 1.1 离散型随机变量
    • 1.2 连续型随机变量
    • 1.3 随机变量函数的期望
      • 1.3.1 离散型随机变量的函数的期望
      • 1.3.2 连续型随机变量的函数的期望
    • 1.4 性质
  • 2 方差
    • 2.1 离散型随机变量的方差
    • 2.2 连续型随机变量的方差
    • 2.3 性质
    • 2.4 协方差

1 数学期望

1.1 离散型随机变量

设离散型随机变量 \(X\) 的分布律为
\( P\{X=x_k\}=p_k, k=1,2... \)
若级数 \(\displaystyle\sum_{k=1}^{\infin}x_kp_k\) 绝对收敛，则称级数 \(\displaystyle\sum_{k=1}^{\infin}x_kp_k\) 的和为随机变量 \(X\) 的数学期望，记为 \(E(X)\) 。

即 \(E(X)=\displaystyle\sum_{k=1}^{\infin}x_kp_k\)

1.2 连续型随机变量

设连续型随机变量 \(X\) 的概率密度为 \(f(x)\) ，若积分 \(\int_{-\infin}^{+\infin}xf(x)\text{d}x\) 绝对收敛，则称积分 \(\int_{-\infin}^{+\infin}xf(x)\text{d}x\) 的值为随机变量 \(X\) 的数学期望，记为 \(E(X)\) 。

即 \(E(X)=\int_{-\infin}^{+\infin}xf(x)\text{d}x\)

1.3 随机变量函数的期望

规律：将定义式中的变量 \(x\) 替换成 \(g(x)\) 即可。

1.3.1 离散型随机变量的函数的期望

设 \(Y=g(X)\) ，\(X\) 的分布律为 \(P\{X=x_k\}=p_k, k=1,2...\) ,若 \(\displaystyle\sum_{k=1}^{\infin}g(x_k)p_k\) 绝对收敛，则
\(E(Y)=E(g(X))=\displaystyle\sum_{k=1}^{\infin}g(x_k)p_k\) 。

1.3.2 连续型随机变量的函数的期望

如果 \(X\) 是连续型随机变量，概率密度为 \(f(x)\) ，若 \(\int_{-\infin}^{+\infin}g(x)f(x)\text{d}x\) 绝对收敛，则有
\(E(Y)=E(g(Y))=\int_{-\infin}^{+\infin}g(x)f(x)\text{d}x\) 。

1.4 性质

• \(E(c)=c\)

  证：\(P\{X=c\}=1\)，故 \(E(c)=c\)

• \(E(cX)=cE(X)\)

  证：\(E(cX)=\int_{-\infin}^{\infin}cf(x)\text{d}x=cE(X)\)

• \(E(X+Y)=E(X)+E(Y)\)

  证：\(E(X+Y)=\int_{-\infin}^{\infin}\int_{-\infin}^{\infin}(x+y)f(x,y)\text{d}x\text{d}y=\int_{-\infin}^{\infin}\int_{-\infin}^{\infin}xf(x,y)\text{d}x\text{d}y+\int_{-\infin}^{\infin}\int_{-\infin}^{\infin}yf(x,y)\text{d}x\text{d}y=E(X)+E(Y)\) 。（利用随机变量的函数的期望）

• 若 \(X,Y\) 不相关，则 \(E(XY)=E(X)E(Y)\)

  证：\(E(XY)=\int_{-\infin}^{\infin}\int_{-\infin}^{\infin}xyf(x,y)\text{d}x\text{d}y=\int_{-\infin}^{\infin}\int_{-\infin}^{\infin}xyf_X(x)f_Y(y)\text{d}x\text{d}y=[\int_{-\infin}^{\infin}xf_X(x)\text{d}x][\int_{-\infin}^{\infin}yf_Y(y)\text{d}y]=E(X)E(Y)\)

2 方差

设 \(X\) 是一个随机变量，若 \(E\{[X-E(X)]^2\}\) 存在，则称 \(E\{[X-E(X)]^2\}\) 为 \(X\) 的方差，记为 \(D(X)\) 或 \(Var(X)\) ，即
\(D(X)=Var(X)=E\{[X-E(X)]^2\}\)

2.1 离散型随机变量的方差

\(D(X)=E\{[X-E(X)]^2\}=\displaystyle\sum_{k=1}^{\infin}[x_k-E(X)]^2p_k\) 。

2.2 连续型随机变量的方差

\(D(X)=E\{[X-E(X)]^2\}=\int_{-\infin}^{+\infin}[x-E(X)]^2f(x)\text{d}x\) 。

2.3 性质

• \(D(X)=E(X^2)-E^2(X)\)

  证：\(D(X)=E([X-E(X)]^2)=E(X^2-2XE(X)+E^2(X))=E(X^2)-2E^2(X)+E^2(X)=E(X^2)-E^2(X)\)

• \(D(c)=0\)

  证：\(E(c)=c\) ，故 \(D(c)=E(0)=0\)

• \(D(cX)=c^2D(X)\)

  证：\(D(cX)=E(c^2X^2)-E^2(cX)=c^2E(X^2)-c^2E^2(X)=c^2D(X)\)

• \(D(X+Y)=D(X)+D(Y)-2E\{(X-E(X))(Y-E(Y))\}\)

  证：\(D(X+Y)=E\{[(X+Y)-E(X+Y)]^2\}=E\{[X-E(X)]+[Y-E(Y)]^2\}=D(X)+D(Y)-2E\{[X-E(X)][Y-E(Y)]\}\)

• \(D(X)=0\iff\) \(X\) 以概率1取常数 \(E(X)\)
• \(D(X+c)=D(X)\)

2.4 协方差

\(Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}\) 称为协方差。
\(\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\) 称为相关系数。

性质：

• \(Cov(X,Y)=E(XY)-E(X)E(Y)\)

  证：\(Cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}\) 。

• \(Cov(aX,bY)=abCov(X,Y)\)

  证：\(Cov(aX,bY)=E\{[aX-E(aX)][bY-E(bY)]=abCov(X,Y)\}\) 。

• \(Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\)

  证：\(Cov(X_1+X_2,Y)=E\{[X_1+X_2-E(X_1+X_2)][Y-E(Y)]\}=E\{[X_1-E(X_1)+X_2-E(X_2)][Y-E(Y)]\}=Cov(X_1,Y)+Cov(X_2,Y)\) 。

• 如果 \(Cov(X,Y)=0\) ，则 \(D(X+Y)=D(X)+D(Y),E(XY)=E(X)E(Y)\)

  证：\(D(X+Y)=D(X)+D(Y)-2Cov(X,Y)\) ，可证1。\(Cov(X,Y)=E\{XY-XE(Y)-YE(X)+E(X)E(Y)\}=E(XY)-E(X)E(Y)\) ，可证2。