期望与方差pro

期望

前置知识

连续随机变量的概率密度函数

概率密度函数 \(p(x)\) 的值虽不是概率，但乘微分元 \(\mathrm{d}x\) 就可得小区间 \((x,x+\mathrm{d}x)\) 上概率的近似值，即

\[p(x)\,\mathrm{d}x\approx P(x<X<x+\mathrm{d}x). \]

在 \((a,b)\) 上很多相邻的微分元的累积就得到 \(p(x)\) 在 \((a,b)\) 上的积分，这个积分值不是别的，就是 \(X\) 在 \((a,b)\) 上取值的概率，即

\[\int_a^b p(x)\,\mathrm{d}x=P(a<X<b). \]

特别，在 \((-\infty,x]\) 上 \(p(x)\) 的积分就是分布函数 \(F(x)\)，即

\[\int_{-\infty}^x p(t)\,\mathrm{d}t=P(X\leq x)=F(x). \]

这一关系式是连续随机变量 \(X\) 的概率密度函数 \(p(x)\) 最本质的属性。这一切运算成为可能还要求 \(p(x)\) 是非负可积函数。综上所述，可得概率密度函数 \(p(x)\) 的如下严格定义：

定义 设随机变量 \(X\) 的分布函数为 \(F(x)\)，如果存在实数轴上的一个非负可积函数 \(p(x)\)，使得对任意实数 \(x\) 有

\[F(x)=\int_{-\infty}^x p(t)\,\mathrm{d}t \]

则称 \(p(x)\) 为 \(X\) 的概率密度函数，简称为密度函数或密度。同时称 \(X\) 为连续随机变量，称 \(F(x)\) 为连续分布函数。

期望的定义

离散：

设离散型随机变量 \(X\) 的概率分布为 \(P(X=x_i)=p_i\)，若级数 \(\sum_{i=1}^{\infty}x_ip_i\) 绝对收敛，则称该级数值为 \(X\) 的数学期望，或均值，并记为

\[E(X)=\sum_{i=1}^{\infty}x_ip_i. \]

连续：

设连续型随机变量 \(X\) 的概率密度函数为 \(f(x)\)，若积分 \(\int_{-\infty}^{+\infty} xf(x)\mathrm{d}x\) 绝对收敛，则称该积分值为 \(X\) 的数学期望，或均值，并记为

\[E(X) = \int_{-\infty}^{+\infty} xf(x)\mathrm{d}x. \]

注意，级数与积分都是要绝对收敛，否则期望可能不存在。

::::info[反例]

加权和收敛，但期望不存在：

\[P(X = (-1)^{k-1} \cdot \frac{2^k}{k}) = \frac{1}{2^k} \]

但

\[\sum_{k = 0}^{+\infty}(-1)^{k-1} \cdot \frac{2^k}{k} \times \frac{1}{2^k} = \sum_{k = 0}^{+\infty}\frac{(-1)^{k-1}}{k} \]

\[E(X^+)=\sum_{k=1}^{\infty} \max\left((-1)^{k-1}\frac{2^k}{k},0\right) \frac{1}{2^k}. \]

当 \(k\) 为奇数时，\(X>0\)，因此

\[\begin{aligned} E(X^+) &=\sum_{\substack{k=1\\k\text{为奇数}}}^{\infty} \frac{2^k}{k}\cdot\frac{1}{2^k}\\ &=\sum_{\substack{k=1\\k\text{为奇数}}}^{\infty}\frac{1}{k}\\ &=1+\frac{1}{3}+\frac{1}{5}+\frac{1}{7}+\cdots\\ &=+\infty. \end{aligned} \]

同理，当 \(k\) 为偶数时，\(X<0\)，所以

\[\begin{aligned} E(X^-) &=\sum_{\substack{k=2\\k\text{为偶数}}}^{\infty} \frac{2^k}{k}\cdot\frac{1}{2^k}\\ &=\frac{1}{2}+\frac{1}{4}+\frac{1}{6}+\frac{1}{8}+\cdots\\ &=+\infty. \end{aligned} \]

而 $ E(X) = E(X^{+}) - E(X^{-}) $，这是没有定义的。

::::

期望的性质

线性性：

对于随机变量 X,Y，常数 a,b，有：

\[E(aX + bY) = aE(X) + bE(Y) \]

E(XY) 的性质

1.

若随机变量 \(X\) 与 \(Y\) 相互独立，则有

\[E(XY)=E(X)E(Y). \]

这一性质也可推广到有限个的情形，即

\[E(X_1X_2\cdots X_n) =E(X_1)E(X_2)\cdots E(X_n), \]

其中 \(X_1,X_2,\cdots,X_n\) 为相互独立随机变量。

注意若两变量独立，是推不出 \(E(XY)=E(X)E(Y)\) 的。

::::info[反例]

对于 $ X \sim N(0,1), Y = X^2 $，有 $ E(X) = 0, D(X) = E(X^2) - [E(X)]^2 $，也就是 \(E(Y) = D(X) + [E(X)]^2 = 1 + 0 = 1\)，所以 $ E(X)E(Y) = 0 $

而 $ E(XY) = E(X^3) = \int_{-\infty} ^{+\infty} x^{3} f(x)\mathrm{d}x = 0 $.

所以 \(E(XY)=E(X)E(Y)\) 是成立的，但显然 \(X,Y\) 是不独立的.

::::

2.

设 \(X,Y\) 为两个随机变量，若 \(E(X^2)\)、\(E(Y^2)\) 存在，则

\[[E(XY)]^2\leq E(X^2)E(Y^2). \]

（该不等式称为柯西-施瓦茨不等式。）

条件数学期望

条件数学期望的定义

条件分布的数学期望（若存在）称为条件期望，其定义如下：

\[E(X\mid Y=y)= \begin{cases} \displaystyle \sum_i x_i P(X=x_i\mid Y=y), & (X,Y)\text{ 为二维离散随机变量},\\[12pt] \displaystyle \int_{-\infty}^{+\infty}xp(x\mid y)\,\mathrm{d}x, & (X,Y)\text{ 为二维连续随机变量}. \end{cases} \]

重期望公式

设二维随机变量 \((X,Y)\)，且 \(E(X)\) 存在，则

\[E(X)=E(E(X\mid Y)). \]

:::info[证明]

在此仅对连续场合进行证明，而离散场合可类似证明。

设二维连续随机变量 \((X,Y)\) 的联合密度函数为 \(p(x,y)\)。记

\[g(y)=E(X\mid Y=y), \]

则

\[g(Y)=E(X\mid Y). \]

由此利用

\[p(x,y)=p(x\mid y)p_Y(y), \]

可得

\[\begin{aligned} E(X) &=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} xp(x,y)\,dx\,dy\\ &=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} xp(x\mid y)p_Y(y)\,dx\,dy\\ &=\int_{-\infty}^{+\infty} \left[ \int_{-\infty}^{+\infty} xp(x\mid y)\,dx \right]p_Y(y)\,dy. \end{aligned} \]

其中括号中的积分不是别的，正是条件期望 \(E(X\mid Y=y)\)，所以

\[\begin{aligned} E(X) &=\int_{-\infty}^{+\infty} E(X\mid Y=y)p_Y(y)\,dy\\ &=\int_{-\infty}^{+\infty} g(y)p_Y(y)\,dy\\ &=E(g(Y))\\ &=E(E(X\mid Y)). \end{aligned} \]

::::

重期望公式是概率论中较为深刻的一个结论，它在实际中很有用。例如，要计算一个取值范围很大的指标 \(X\) 的均值 \(E(X)\)，这时会遇到计算上的各种困难。为此，我们换一种思维方式，去找一个与 \(X\) 有关的量 \(Y\)，用 \(Y\) 的不同取值把大范围划分成若干个小区域。先在小区域上求 \(X\) 的平均，再对此类平均求加权平均，即可得到大范围上 \(X\) 的平均 \(E(X)\)。

例如，要计算全校学生的平均身高，可先求出每个班级学生的平均身高，然后再对各班级的平均身高作加权平均，其权重就是班级人数在全校学生中所占的比例。

重期望公式的具体使用如下：

1. \(Y\) 是离散型随机变量

如果 \(Y\) 是一个离散型随机变量，则定义式成为

\[E(X)=\sum_j E(X\mid Y=y_j)P(Y=y_j). \]

2. \(Y\) 是连续型随机变量

如果 \(Y\) 是一个连续型随机变量，则定义式成为

\[E(X)=\int_{-\infty}^{+\infty} E(X\mid Y=y)p_Y(y)\,dy. \]

重期望公式也叫全期望公式.

例题

例

设 \(X \sim N(\mu, \sigma^2)\)，求 \(E(X)\)。

解 因为随机变量 \(X\) 的密度函数为

\[f(x) = \frac{1}{\sqrt{2\pi}\sigma} \mathrm{e}^{-\frac{(x-\mu)^2}{2\sigma^2}}, \quad -\infty < x < +\infty, \]

所以

\[\begin{aligned} E(X) &= \int_{-\infty}^{+\infty} x \frac{1}{\sqrt{2\pi}\sigma} \mathrm{e}^{-\frac{(x-\mu)^2}{2\sigma^2}} \mathrm{d}x \\ &\stackrel{\frac{x-\mu}{\sigma}=t}{=} \int_{-\infty}^{+\infty} (\mu + \sigma t) \frac{1}{\sqrt{2\pi}\sigma} \mathrm{e}^{-\frac{t^2}{2}} \sigma \mathrm{d}t \\ &= \mu \int_{-\infty}^{+\infty} \frac{1}{\sqrt{2\pi}} \mathrm{e}^{-\frac{t^2}{2}} \mathrm{d}t + \sigma \int_{-\infty}^{+\infty} \frac{t}{\sqrt{2\pi}} \mathrm{e}^{-\frac{t^2}{2}} \mathrm{d}t, \end{aligned} \]

故

\[E(X) = \mu. \]

例

把数字 \(1,2,\cdots,n\) 任意地排成一列，如果数字 \(k\) 恰好出现在第 \(k\) 个位置上，则称为一个巧合，求巧合个数的数学期望。

方差

方差及标准差的定义

设 \(X\) 为随机变量，如果 \(E[X-E(X)]^2\) 存在，则称之为 \(X\) 的方差，记为 \(D(X)\)，即

\[D(X)=E[X-E(X)]^2. \]

对于离散型随机变量，若 \(P(X=x_k)=p_k\)，则

\[D(X)=\sum_k [x_k-E(X)]^2p_k. \]

对于连续型随机变量，若 \(X\) 的密度函数为 \(f(x)\)，则

\[D(X)=\int_{-\infty}^{+\infty}[x-E(X)]^2f(x)\,\mathrm{d}x. \]

称 \(\sqrt{D(X)}\) 为标准差。

在计算方差时，常用如下重要公式：

\[D(X)=E(X^2)-[E(X)]^2. \]

这是因为

\[\begin{aligned} D(X) &=E[X-E(X)]^2\\ &=E\left[X^2-2X\cdot E(X)+(E(X))^2\right]\\ &=E(X^2)-2E(X)\cdot E(X)+[E(X)]^2\\ &=E(X^2)-[E(X)]^2. \end{aligned} \]

需要注意的是，如果随机变量 X 的数学期望存在，其方差不一定存在；而当 X 的方差存在时，则 E(X) 必定存在：$ | x | \le x^2 + 1 $ 恒成立。

方差的性质

性质4 若 \(c\neq E(X)\)，则

\[D(X)<E(X-c)^2. \]

说明：随机变量与其数学期望的离散程度最小。

协方差与相关系数

定义

设二维随机变量 \((X,Y)\)，若

\[E\left\{[X-E(X)][Y-E(Y)]\right\} \]

存在，则称它为随机变量 \(X\) 与 \(Y\) 的协方差，记作 \(\operatorname{Cov}(X,Y)\) 或 \(\sigma_{XY}\)，即

\[\operatorname{Cov}(X,Y)=E\left\{[X-E(X)][Y-E(Y)]\right\}. \]

又若 \(D(X)\neq 0\)，\(D(Y)\neq 0\)，则称

\[\rho_{XY}=\frac{\operatorname{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}. \]

为随机变量 \(X\) 与 \(Y\) 的相关系数。

如果记 \(\sigma_X=\sqrt{D(X)}\)，\(\sigma_Y=\sqrt{D(Y)}\)，则相关系数又可写成

\[\rho_{XY}=\frac{\sigma_{XY}}{\sigma_X\sigma_Y}. \]

当 \((X,Y)\) 分别是离散型和连续型随机变量时，协方差的计算公式分别为

\[\operatorname{Cov}(X,Y)=\sum_i\sum_j[x_i-E(X)][y_j-E(Y)]p_{ij}, \]

\[\operatorname{Cov}(X,Y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}[x-E(X)][y-E(Y)]f(x,y)\,\mathrm{d}x\,\mathrm{d}y. \]

计算协方差时，还常用公式

\[\operatorname{Cov}(X,Y)=E(XY)-E(X)E(Y). \]

::::info[为什么相关系数是这个形式]

协方差 $ \operatorname{Cov}(X,Y)=E\left{[X-E(X)] [Y-E(Y)]\right} $ 一定程度上能够反映两个变量的相关性，但仍受量纲影响，所以我们需要使用标准化来消除这种影响。

对随机变量 \(X,Y\)，分别进行标准化：

\[X^*=\frac{X-E(X)}{\sqrt{D(X)}} \]

\[Y^*=\frac{Y-E(Y)}{\sqrt{D(Y)}} \]

标准化后的随机变量满足：

\[E(X^*)=E(Y^*)=0 \]

\[D(X^*)=D(Y^*)=1 \]

也就是说，我们把两个随机变量都变成了均值为 \(0\)、标准差为 \(1\) 的随机变量。

此时再计算它们的协方差：

\[\begin{aligned} \operatorname{Cov}(X^*,Y^*) &=E[(X^*-E(X^*))(Y^*-E(Y^*))]\\ &=E(X^*Y^*)\\ &=E\left[ \frac{X-E(X)}{\sqrt{D(X)}} \frac{Y-E(Y)}{\sqrt{D(Y)}} \right]\\ &=\frac{E[(X-E(X))(Y-E(Y))]}{\sqrt{D(X)}\sqrt{D(Y)}}\\ &=\frac{\operatorname{Cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}} \end{aligned} \]

于是得到：

\[\boxed{ \rho_{XY}=\operatorname{Cov}(X^*,Y^*) } \]

::::

::::info[为什么相关系数是这个形式2]

对于总体随机变量 \(X,Y\)，假设它们具有有限且非零的方差，即

\[0<D(X)<+\infty,\qquad 0<D(Y)<+\infty. \]

定义两个中心化随机变量：

\[U=X-E(X),\qquad V=Y-E(Y). \]

1. 定义随机变量的内积

在平方可积随机变量构成的空间 \(L^2\) 中，可以定义内积：

\[\langle U,V\rangle=E(UV). \]

对应的范数定义为：

\[\|U\|=\sqrt{\langle U,U\rangle} =\sqrt{E(U^2)}. \]

类似地：

\[\|V\|=\sqrt{E(V^2)}. \]

由于 \(U=X-E(X)\)，因此：

\[\begin{aligned} \|U\| &=\sqrt{E[(X-E(X))^2]}\\ &=\sqrt{D(X)}\\ &=\sigma_X. \end{aligned} \]

同理：

\[\|V\|=\sqrt{D(Y)}=\sigma_Y. \]

而根据协方差的定义：

\[\begin{aligned} \langle U,V\rangle &=E(UV)\\ &=E[(X-E(X))(Y-E(Y))]\\ &=\operatorname{Cov}(X,Y). \end{aligned} \]

因此，协方差实际上就是两个中心化随机变量在 \(L^2\) 空间中的内积，而标准差就是它们各自的范数。

2. 推导相关系数的几何意义

在内积空间中，两个非零向量的夹角 \(\theta\) 可以通过内积定义：

\[\cos\theta= \frac{\langle U,V\rangle}{\|U\|\|V\|}. \]

将前面的结果代入：

\[\begin{aligned} \cos\theta &=\frac{\langle U,V\rangle}{\|U\|\|V\|}\\ &=\frac{E[(X-E(X))(Y-E(Y))]} {\sqrt{E[(X-E(X))^2]}\sqrt{E[(Y-E(Y))^2]}}\\ &=\frac{\operatorname{Cov}(X,Y)} {\sqrt{D(X)}\sqrt{D(Y)}}\\ &=\rho_{XY}. \end{aligned} \]

因此：

\[\boxed{\rho_{XY}=\cos\theta} \]

这说明：总体相关系数可以理解为两个中心化随机变量在平方可积随机变量空间中夹角的余弦值。

3. 相关系数的几何解释

根据

\[\rho_{XY}=\cos\theta, \]

可以得到：

• 当 \(\theta=0^\circ\) 时，\(\rho_{XY}=1\)，两个中心化随机变量方向相同，表现为完全正线性相关。
• 当 \(\theta=90^\circ\) 时，\(\rho_{XY}=0\)，两个中心化随机变量正交，表现为不相关。
• 当 \(\theta=180^\circ\) 时，\(\rho_{XY}=-1\)，两个中心化随机变量方向相反，表现为完全负线性相关。

特别地，当

\[\rho_{XY}=0 \]

时，有

\[\langle U,V\rangle=E(UV)=0. \]

即

\[\operatorname{Cov}(X,Y)=0. \]

因此，随机变量不相关在几何上等价于其中心化形式在 \(L^2\) 空间中正交。

但需要注意，正交并不意味着随机变量相互独立。

4. 完全线性相关的条件

根据柯西—施瓦茨不等式：

\[|\langle U,V\rangle|\leq\|U\|\|V\|. \]

当且仅当 \(U,V\) 线性相关时取等号，即存在非零常数 \(a\)，使得

\[V=aU\quad \text{几乎处处成立}. \]

代入中心化随机变量的定义：

\[Y-E(Y)=a[X-E(X)]. \]

整理得到：

\[Y=aX+b, \]

其中

\[b=E(Y)-aE(X). \]

因此：

• 当 \(\rho_{XY}=1\) 时，存在 \(a>0\)、\(b\in\mathbb{R}\)，使得 \(Y=aX+b\) 几乎处处成立。
• 当 \(\rho_{XY}=-1\) 时，存在 \(a<0\)、\(b\in\mathbb{R}\)，使得 \(Y=aX+b\) 几乎处处成立。

这说明，相关系数绝对值等于 \(1\)，当且仅当两个非退化随机变量之间存在几乎处处成立的严格线性关系。

5. 总结

对于具有有限且非零方差的总体随机变量 \(X,Y\)，令

\[U=X-E(X),\qquad V=Y-E(Y). \]

则有：

\[\boxed{ \begin{aligned} \operatorname{Cov}(X,Y)&=\langle U,V\rangle,\\ \sigma_X&=\|U\|,\\ \sigma_Y&=\|V\|. \end{aligned} } \]

因此：

\[\boxed{ \rho_{XY} =\frac{\langle U,V\rangle}{\|U\|\|V\|} =\cos\theta } \]

从几何角度看：

协方差是中心化随机变量的内积，标准差是中心化随机变量的范数，而相关系数就是它们夹角的余弦值。

::::

协方差与相关系数的性质

（1）

\[\operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X). \]

（2）

\[\operatorname{Cov}(a_1X+b_1,a_2Y+b_2) =a_1a_2\operatorname{Cov}(X,Y), \]

其中 \(a_1,a_2,b_1,b_2\) 为常数。

（3）

\[\operatorname{Cov}(X_1+X_2,Y) =\operatorname{Cov}(X_1,Y)+\operatorname{Cov}(X_2,Y). \]

（4）

\[D(X\pm Y)=D(X)+D(Y)\pm 2\operatorname{Cov}(X,Y), \]

并且当 \(X\) 与 \(Y\) 相互独立时，

\[\operatorname{Cov}(X,Y)=0. \]

（5）

\[|\rho_{XY}|\leq 1. \]

::::info[证明]

这个结论可以直接由柯西–施瓦茨不等式得到。

令

\[U=X-EX,\qquad V=Y-EY. \]

则

\[\operatorname{Cov}(X,Y)=E(UV), \]

并且

\[E(U^2)=D(X),\qquad E(V^2)=D(Y). \]

柯西–施瓦茨不等式告诉我们：

\[[E(UV)]^2\leq E(U^2)E(V^2). \]

代入上面的结果：

\[[\operatorname{Cov}(X,Y)]^2 \leq D(X)D(Y). \]

两边除以 \(D(X)D(Y)\)，就得到

\[\boxed{\rho_{XY}^2\leq 1}. \]

也就是

\[\boxed{|\rho_{XY}|\leq 1}. \]

::::

（6）\(|\rho_{XY}|=1\) 的充分必要条件是

\[P(Y=aX+b)=1, \]

其中 \(a,b\) 为常数，且 \(a\neq 0\)。

::::info[证明]

1. 当 \(\rho=1\) 时

黑板左下角写出的条件可以理解为

\[\frac{X-EX}{\sqrt{D(X)}}=1. \]

这里的 \(P(\cdot)=1\) 表示等式以概率 \(1\) 成立，也就是几乎必然成立。

移项并整理：

\[\frac{X-EX}{\sqrt{D(X)}}. \]

因此

\[\boxed{ Y= \frac{\sqrt{D(Y)}}{\sqrt{D(X)}}X +EY -\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}EX }. \]

令

\[b=\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}, \qquad a=EY-bEX, \]

便得到

\[\boxed{ Y=a+bX\quad\text{几乎必然成立},\qquad b>0. } \]

也就是说，相关系数等于 \(1\)，当且仅当两个随机变量之间存在斜率为正的精确线性关系。

2. 当 \(\rho=-1\) 时

此时标准化后的随机变量方向相反：

\[-\frac{X-EX}{\sqrt{D(X)}}=1. \]

整理可得

\[\boxed{ Y= -\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}X +EY +\frac{\sqrt{D(Y)}}{\sqrt{D(X)}}EX }. \]

因此

\[\boxed{ Y=a+bX\quad\text{几乎必然成立},\qquad b<0. } \]

两个结论可以合并为

\[\boxed{ |\rho_{XY}|=1 \iff Y=a+bX\text{ 几乎必然成立，且 }b\neq 0 }. \]

这里假设 \(X\) 和 \(Y\) 的方差均有限且严格大于零。

这比单纯记住相关系数的范围更重要：相关系数的绝对值达到 \(1\)，意味着所有可能的 \((X,Y)\) 取值都落在同一条非水平直线上，忽略概率为零的例外。

::::

不相关与独立

\(X\) 与 \(Y\) 相互独立一定不相关，但不相关不一定独立，也就是说“不相关”是比“独立”更弱的一个条件

充要的情况：

1.二元正态分布

2.二值随机变量

与二元线性回归（均方误差）的关系

定义

\[Q=\min_{a,b}E[(Y-(a+bX))^2] \]

则

\[\boxed{Q=(1-\rho_{XY}^2)D(Y)}. \]

::::info[证明]

先对平方误差展开：

\[\begin{aligned} E[(Y-a-bX)^2] ={}&E(Y^2)+a^2+b^2E(X^2) -2aEY-2bE(XY)+2abEX. \end{aligned} \]

分别对 \(a,b\) 求偏导，并令偏导数为零：

\[\begin{cases} a+bEX=EY,\\ aEX+bE(X^2)=E(XY). \end{cases} \]

第一式给出

\[a=EY-bEX. \]

将其代入第二式：

\[(EY-bEX)EX+bE(X^2)=E(XY). \]

整理得到

\[b\big[E(X^2)-(EX)^2\big] =E(XY)-EX,EY. \]

注意：

\[E(X^2)-(EX)^2=D(X), \]

\[E(XY)-EX,EY=\operatorname{Cov}(X,Y). \]

所以

\[\boxed{ b^*=\frac{\operatorname{Cov}(X,Y)}{D(X)} }. \]

进而

\[\boxed{a^*=EY-b^*EX}. \]

这就是一元线性回归中最优直线的斜率和截距。这里要求 \(D(X)>0\)，并且相关二阶矩有限。

将最优参数代回去，利用中心化变量可以得到

\[Q=D(Y)-\frac{\operatorname{Cov}(X,Y)^2}{D(X)}. \]

而相关系数满足

\[\frac{\operatorname{Cov}(X,Y)^2}{D(X)D(Y)}. \]

因此

\[\frac{\operatorname{Cov}(X,Y)^2}{D(X)} =\rho_{XY}^2D(Y). \]

代入可得

\[\boxed{Q=(1-\rho_{XY}^2)D(Y)}. \]

::::

随机变量的矩和协方差矩阵

随机变量的矩

1.. 原点矩

设随机变量 \(X\) 的 \(k\) 阶矩存在，则称

\[E(X^k) \]

为随机变量 \(X\) 的 \(k\) 阶原点矩。

对于连续型随机变量，若其概率密度函数为 \(f(x)\)，则

\[E(X^k)=\int_{-\infty}^{+\infty}x^k f(x)\,\mathrm{d}x. \]

对于离散型随机变量，若其可能取值为 \(x_i\)，对应概率为 \(p_i\)，则

\[E(X^k)=\sum_i x_i^k p_i. \]

2. 中心矩

设随机变量 \(X\) 的数学期望 \(E(X)\) 存在，则称

\[E\left[(X-E(X))^k\right] \]

为随机变量 \(X\) 的 \(k\) 阶中心矩。

对于连续型随机变量，其 \(k\) 阶中心矩为

\[\int_{-\infty}^{+\infty}(x-E(X))^k f(x)\,\mathrm{d}x. \]

对于离散型随机变量，其 \(k\) 阶中心矩为

\[\sum_i (x_i-E(X))^k p_i. \]

3. 绝对矩

若

\[E(|X|^k)<+\infty, \]

则称随机变量 \(X\) 的 \(k\) 阶绝对矩有限。

对于连续型随机变量，该条件等价于

\[\int_{-\infty}^{+\infty}|x|^k f(x)\,\mathrm{d}x<+\infty. \]

对于离散型随机变量，该条件等价于

\[\sum_i |x_i|^k p_i<+\infty. \]

4. 常见的矩

1）一阶原点矩：数学期望

\[E(X) \]

2）二阶原点矩

\[E(X^2) \]

3）一阶中心矩

\[E[X-E(X)]=0 \]

4）二阶中心矩：方差

\[E\left[(X-E(X))^2\right]=D(X) \]

随机变量的协方差矩阵

定义

设随机变量 \(X_1,X_2,\ldots,X_n\) 均具有有限二阶矩，定义随机向量

\[\boldsymbol{X}= \begin{pmatrix} X_1\\ X_2\\ \vdots\\ X_n \end{pmatrix}. \]

其均值向量为

\[\boldsymbol{\mu}=E(\boldsymbol{X})= \begin{pmatrix} E(X_1)\\ E(X_2)\\ \vdots\\ E(X_n) \end{pmatrix}. \]

称矩阵

\[\Sigma=E\left[ (\boldsymbol{X}-\boldsymbol{\mu}) (\boldsymbol{X}-\boldsymbol{\mu})^{\mathrm{T}} \right] \]

为随机向量 \(\boldsymbol{X}\) 的协方差矩阵。

协方差矩阵可以表示为

\[\Sigma= \begin{pmatrix} D(X_1) & \operatorname{Cov}(X_1,X_2) & \cdots & \operatorname{Cov}(X_1,X_n)\\ \operatorname{Cov}(X_2,X_1) & D(X_2) & \cdots & \operatorname{Cov}(X_2,X_n)\\ \vdots & \vdots & \ddots & \vdots\\ \operatorname{Cov}(X_n,X_1) & \operatorname{Cov}(X_n,X_2) & \cdots & D(X_n) \end{pmatrix}. \]

其中，协方差定义为

\[\operatorname{Cov}(X_i,X_j) = E\left[(X_i-E(X_i))(X_j-E(X_j))\right]. \]

也可以写成

\[\operatorname{Cov}(X_i,X_j) = E(X_iX_j)-E(X_i)E(X_j). \]

因此，协方差矩阵的对角线元素是各随机变量的方差，非对角线元素是不同随机变量之间的协方差。

协方差矩阵的性质

（1）对称性

由于

\[\operatorname{Cov}(X_i,X_j) = \operatorname{Cov}(X_j,X_i), \]

因此

\[\Sigma^{\mathrm{T}}=\Sigma. \]

即协方差矩阵是对称矩阵。

（2）对角线元素非负

由于方差非负，

\[D(X_i)\geq 0, \]

因此协方差矩阵的对角线元素均非负。

（3）半正定性

对于任意常数向量

\[\boldsymbol{a}= \begin{pmatrix} a_1\\ a_2\\ \vdots\\ a_n \end{pmatrix}, \]

有

\[\boldsymbol{a}^{\mathrm{T}}\Sigma\boldsymbol{a} = D\left(\sum_{i=1}^{n}a_iX_i\right) \geq 0. \]

:::info[证明]

因为对任意的 \(n\) 维实向量

\[\boldsymbol{c} = (c_1,c_2,\cdots,c_n)', \]

有

\[\begin{aligned} \boldsymbol{c}'\operatorname{Cov}(\boldsymbol{X})\boldsymbol{c} &= (c_1,c_2,\cdots,c_n) \cdot \begin{pmatrix} \operatorname{Var}(X_1) & \cdots & \operatorname{Cov}(X_1,X_n)\\ \operatorname{Cov}(X_2,X_1) & \cdots & \operatorname{Cov}(X_2,X_n)\\ \vdots & \ddots & \vdots\\ \operatorname{Cov}(X_n,X_1) & \cdots & \operatorname{Var}(X_n) \end{pmatrix} \begin{pmatrix} c_1\\ c_2\\ \vdots\\ c_n \end{pmatrix}\\ &=\sum_{i=1}^{n}\sum_{j=1}^{n} c_i c_j\operatorname{Cov}(X_i,X_j)\\ &=\sum_{i=1}^{n}\sum_{j=1}^{n} E\left\{ [c_i(X_i-E(X_i))] [c_j(X_j-E(X_j))] \right\}\\ &=E\left\{ \sum_{i=1}^{n}\sum_{j=1}^{n} [c_i(X_i-E(X_i))] [c_j(X_j-E(X_j))] \right\}\\ &=E\left\{ \left[\sum_{i=1}^{n}c_i(X_i-E(X_i))\right] \left[\sum_{j=1}^{n}c_j(X_j-E(X_j))\right] \right\}\\ &=E\left[ \sum_{i=1}^{n}c_i(X_i-E(X_i)) \right]^2\\ &\geq 0. \end{aligned} \]

所以矩阵 \(\operatorname{Cov}(\boldsymbol{X})\) 是非负定的，定理得证。

::::

::::info[$ n $ 元正态分布]

设 \(n\) 维随机变量
\( \boldsymbol{X}=(X_1,X_2,\cdots,X_n)' \)
的协方差矩阵
\( B=\operatorname{Cov}(\boldsymbol{X}) \)
是正定的，数学期望向量为
\( \boldsymbol{a}=(a_1,a_2,\cdots,a_n)'. \)
又记
\( \boldsymbol{x}=(x_1,x_2,\cdots,x_n)', \)
则由密度函数

\[\begin{aligned} p(x_1,x_2,\cdots,x_n) &=p(\boldsymbol{x}) &=\frac{1}{(2\pi)^{\frac{n}{2}}|B|^{\frac{1}{2}}} \exp\left\{ -\frac{1}{2} (\boldsymbol{x}-\boldsymbol{a})' B^{-1} (\boldsymbol{x}-\boldsymbol{a}) \right\}. \end{aligned} \]

定义的分布称为 \(n\) 元正态分布，记为
\( \boldsymbol{X}\sim N(\boldsymbol{a},B). \)
其中 \(|B|\) 表示矩阵 \(B\) 的行列式，\(B^{-1}\) 表示矩阵 \(B\) 的逆阵，\((\boldsymbol{x}-\boldsymbol{a})'\) 表示向量 \((\boldsymbol{x}-\boldsymbol{a})\) 的转置。

若记
\( B^{-1}=(r_{ij}), \)
则上式可写成

\[\begin{aligned} p(x_1,x_2,\cdots,x_n) &=\frac{1}{(2\pi)^{\frac{n}{2}}|B|^{\frac{1}{2}}} \cdot\exp\left\{ -\frac{1}{2} \sum_{i=1}^{n}\sum_{j=1}^{n} r_{ij}(x_i-a_i)(x_j-a_j) \right\}. \end{aligned} \]

在 \(n=2\) 的场合，若取数学期望向量和协方差矩阵分别为

\[\boldsymbol{a} = \begin{pmatrix} \mu_1\\ \mu_2 \end{pmatrix}, \qquad B= \begin{pmatrix} \sigma_1^2 & \sigma_1\sigma_2\rho\\ \sigma_1\sigma_2\rho & \sigma_2^2 \end{pmatrix}, \]

代入上式，则可得到二元正态密度函数。

\(n\) 元正态分布是一种最重要的多维分布，它在概率论、数理统计和随机过程中都占有重要地位。

::::

线性组合的方差

设

\[Y=\sum_{i=1}^{n}a_iX_i, \]

其中 \(a_1,a_2,\ldots,a_n\) 为常数。

则

\[\boxed{ D(Y)= \sum_{i=1}^{n}\sum_{j=1}^{n} a_i a_j\operatorname{Cov}(X_i,X_j) } \]

利用协方差矩阵，可以将其简写为

\[\boxed{ D(Y)=\boldsymbol{a}^{\mathrm{T}}\Sigma\boldsymbol{a} }. \]

两个随机变量的情况

设

\[Y=aX_1+bX_2, \]

则

\[D(Y)=a^2D(X_1)+b^2D(X_2) +2ab\operatorname{Cov}(X_1,X_2). \]

若 \(X_1\) 与 \(X_2\) 不相关，即

\[\operatorname{Cov}(X_1,X_2)=0, \]

则

\[D(Y)=a^2D(X_1)+b^2D(X_2). \]

注意：这里仅需要两个随机变量不相关，并不一定需要它们相互独立。

协方差矩阵的线性变换

设随机向量经过线性变换

\[\boldsymbol{Y}=A\boldsymbol{X}+\boldsymbol{b}, \]

其中 \(A\) 为常数矩阵，\(\boldsymbol{b}\) 为常数向量。

若 \(\boldsymbol{X}\) 的协方差矩阵为 \(\Sigma_X\)，则 \(\boldsymbol{Y}\) 的协方差矩阵为

\[\boxed{ \Sigma_Y=A\Sigma_X A^{\mathrm{T}} }. \]

这说明，常数平移不会改变协方差矩阵，而线性变换可以通过矩阵乘法计算其对协方差矩阵的影响。

一些常见分布的期望与方差

放到这个文章里了

例题

例

一机场交通车送 \(n\) 个旅客到 \(m\) 个车站下车，假设每个旅客在各个车站下车是等可能的，且他们下车与否相互独立，如到达等一车站时没有旅客下车则不停。以 \(X\) 表示停车次数，求 \(E(X)\) 及 \(D(X)\)。

例

注：利用

\[\{X\neq E(X)\} =\bigcup_{n=1}^{\infty} \left\{|X-E(X)|\geq \frac{1}{n}\right\} \]

可证明

\[D(X)=0\iff P\{X=E(X)\}=1. \]

练习题

试计算

\[D\left(\sum_{i=1}^{n}a_iX_i+c\right). \]

其中 \(a_1,\cdots,a_n,c\) 是常数。

要求：最终结果用二次型表示。

参考资料

【从头开始，把概率论、统计、信息论中零散的知识统一起来】https://www.bilibili.com/video/BV1vv4y1B714?vd_source=ec2904ba8d00d7556e4211fd0eff2100