[概率论与数理统计]笔记：3.4 随机向量的数字特征

3.4 随机向量的数字特征

协方差

定义

协方差用于反映随机向量的分量之间关系的密切程度。

\[cov(X,Y)=E \left[ (X-EX)(Y-EY) \right] =E(XY)-EX\cdot EY \]

性质

• \(cov(X,X)=DX\)

• \(cov(X,Y)=cov(Y,X)\)

• \(cov(aX,bY)=ab\cdot cov(X,Y)\)，\(a,b\)为任意常数

• \(cov(C,X)=0\)，\(C\)为任意常数

• \(cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)\)

• 如果\(X,Y\)相互独立，则\(cov(X,Y)=0\)。反过来不成立：如果\(cov(X,Y)=0\)，\(X,Y\)不一定相互独立。

  • 对于方差存在的随机变量\(X,Y\)，有\(D(X\pm Y)=DX+DY\pm 2cov(X,Y)\)
  • 当\(X,Y\)相互独立时，\(D(X\pm Y)=DX+DY\)

• \(n\)维随机向量\((X_1,X_2,\cdots,X_n)\)，\(X_i(i=1,2,\cdots,n)\)的方差均存在，则对于任意实向量\((\lambda_1,\lambda_2,\cdots,\lambda_n)\)，\(\sum\limits_{i=1}^n\lambda_iX_i\)的方差必存在，且

  \[D(\sum\limits_{i=1}^n\lambda_iX_i)=\sum\limits_{i=1}^n\lambda_i^2DX_i+2\sum\limits_{1\le i<j\le n}\lambda_i\lambda_jcov(X_i,Y_j). \]

  特别地，当\(X_1,X_2,\cdots,X_n\)两两独立时，有

  \[D(\sum\limits_{i=1}^n\lambda_iX_i)=\sum\limits_{i=1}^n\lambda_i^2DX_i \]

计算

• 离散型：\(cov(X,Y)=\sum\limits_{i,j}(x_i-EX)(y_j-EY)p_{ij}\)

• 连续型：\(cov(X,Y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}(x-EX)(y-EY)f(x,y)\mathrm{d}x\mathrm{d}y\)

• 实际做题中常用的公式：\(cov(X,Y)=E(XY)-EX\cdot EY\)

---

协方差矩阵

定义

\((X_1,X_2,\cdots,X_n)\)是\(n\)维随机向量，\(X_i(i=1,2,\cdots,n)\)的方差均存在，则以\(\sigma_{ij}=cov(X_i,Y_j)\)为第\((i,j)\)个元素的矩阵\((\sigma_{ij})_{n\times n}\)称为随机向量\((X_1,X_2,\cdots,X_n)\)的协方差矩阵，简称协差阵。

记\(\mathbf{X}=(X_1,X_2,\cdots,X_n)^T\)，其协差阵通常记作\(D\mathbf{X}\).

对任意实向量\(\boldsymbol{\lambda}=(\lambda_1,\lambda_2,\cdots,\lambda_n)^T\)，有\(D(\boldsymbol{\lambda}^T\bold{X}=\boldsymbol{\lambda}^TD\bold{X}\ \boldsymbol{\lambda})\)

---

相关系数

协方差是对两个随机变量的协同变化的度量，但是数值受数量单位影响，也即受各随机变量自身取值水平的影响。

为了避免这种影响，可以采取标准化。

标准化

\[X^*=\frac{X-EX}{\sqrt{DX}},\quad Y^*=\frac{Y-EY}{\sqrt{DY}}. \]

相关系数的定义

标准化后的随机变量的协方差为

\[\begin{align*} cov(X^*,Y^*) &=E(X^*Y^*)-EX^*EY^* \\ &= E\left[\frac{X-EX}{\sqrt{DX}}\cdot\frac{Y-EY}{\sqrt{DY}}\right]-E(\frac{X-EX}{\sqrt{DX}})E(\frac{Y-EY}{\sqrt{DY}}) \\ &= E\left[\frac{X-EX}{\sqrt{DX}}\cdot\frac{Y-EY}{\sqrt{DY}}\right]-\frac{1}{\sqrt{DX}\sqrt{DY}}E(X-EX)E(Y-EY) \\ &= E\left[\frac{X-EX}{\sqrt{DX}}\cdot\frac{Y-EY}{\sqrt{DY}}\right]-\frac{1}{\sqrt{DX}\sqrt{DY}}(EX-EX)(EY-EY) \\ &= E\left[\frac{X-EX}{\sqrt{DX}}\cdot\frac{Y-EY}{\sqrt{DY}}\right] \\ &= \frac{E((X-EX)(Y-EY))}{\sqrt{DX}\sqrt{DY}} \\ &= \frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}} \end{align*} \]

将其称为\(X,Y\)之间的相关系数，记作\(\rho_{X,Y}=\frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}}\).

概念与性质

• 相关系数恒满足：\(|\rho_{X,Y}|\le1\)

• 如果\(X,Y\)之间存在线性函数关系，则\(|\rho_{X,Y}|=1\).

  此时，称\(X,Y\)完全相关。

  当\(\rho=1\)时，称完全正相关。

  当\(\rho=-1\)时，称完全负相关。

• 如果\(\rho_{X,Y}=0\)，则称\(X,Y\)不相关。

  从相关系数和协方差的定义可以知道：

  \[独立\Rightarrow不相关\\ 不相关\nRightarrow 独立 \]

  \(独立\Rightarrow没有关系\Rightarrow没有线性关系\Rightarrow不相关\).

  \(不相关\Rightarrow 没有线性关系，但是可能存在非线性关系\nRightarrow独立\).

• 如果\(0<|\rho_{X,Y}|<1\)，则称\(X,Y\)不完全相关.

  当\(\rho>0\)时，称为正相关。

  当\(\rho<0\)时，称为负相关。

---

条件数学期望

定义

离散型

在\(Y=y_j\)的条件下，\(X\)的条件概率分布为

\[P\{X=x_i|Y=y_j\}=p_{i|j},\quad\quad i=1,2,\cdots, \]

如果

\[\sum\limits_i|x_i|p_{i|j}<+\infty \]

即绝对收敛，则称\(\sum\limits_i|x_i|p_{i|j}\)为\(X\)在\(Y=y_j\)条件下的条件数学期望，记作\(E[X|Y=y_j]\).

连续型

在\(Y=y\)的条件下，\(X\)的条件密度函数为

\[\int_{-\infty}^{+\infty}|x|f_{X|Y}(x|y)\mathrm{d}x<+\infty, \]

则称

\[\int_{-\infty}^{+\infty}xf_{X|Y}(x|y)\mathrm{d}x \]

为\(X\)在\(Y=y\)条件下的条件数学期望。记作\(E[X|Y=y]\).

性质

条件数学期望具有数学期望具有的所有数学性质。

👉概率论与数理统计]笔记：2.2 随机变量的数字特征 - feixianxing - 博客园 (cnblogs.com)

• 如果\(X,Y\)相互独立，则\(E[X|Y=y]=EX\).

使用教材：
《概率论与数理统计》第四版 中国人民大学 龙永红 主编 高等教育出版社