回归分析02：随机向量(2)
Chapter 2：随机向量(2)
2.4 正态随机向量的二次型
定理 2.4.1：正态随机向量的二次型的方差：
(1) 设 \(X\sim N_n(\mu,\Sigma)\) ，\(A\) 为 \(n\times n\) 的实对称矩阵，则
(2) 设 \(X\sim N_n\left(\mu,\sigma^2I_n\right)\) ，\(A\) 为 \(n\times n\) 的实对称矩阵，则
(1) 设 \(Y=\Sigma^{-1/2}X\) ，则 \(Y\sim N\left(\Sigma^{-1/2}\mu,I_n\right)\) ，所以 \(Y\) 的各个分量相互独立，且有
\[{\rm Var}\left(X'AX\right)={\rm Var}\left(Y'\Sigma^{1/2}A\Sigma^{1/2}Y\right) \ . \]把问题转化为求 \(Y\) 的二次型的方差，注意到
\[m_3={\rm E}\left[Y_i-{\rm E}(Y_i)\right]^3=0 \ , \quad m_4={\rm E}\left[Y_i-{\rm E}(Y_i)\right]^4=3 \ . \]由定理 2.2.2 可知
\[\begin{aligned} {\rm Var}\left(Y'\Sigma^{1/2}A\Sigma^{1/2}Y\right)&=2{\rm tr}\left(A\Sigma \right)^2+4\left(\Sigma^{-1/2}\mu\right)'\left(\Sigma^{1/2}A\Sigma^{1/2}\right)^2\left(\Sigma^{-1/2}\mu\right) \\ \\ &=2{\rm tr}\left(A\Sigma \right)^2+4\mu'\Sigma^{-1/2}\Sigma^{1/2}A\Sigma A \Sigma^{1/2}\Sigma^{-1/2}\mu \\ \\ &=2{\rm tr}\left(A\Sigma \right)^2+4\mu'A\Sigma A \mu \ . \end{aligned} \](2) 把 \(\Sigma=\sigma^2I_n\) 代入 (1) 中结果，即可得证。
设 \(X\sim N_n(\mu,I_n)\) ，记 \(\lambda=\mu'\mu\) ，称随机变量 \(Y=X'X\) 的分布为自由度为 \(n\) ，非中心参数为 \(\lambda\) 的非中心 \(\chi^2\) 分布，记为 \(Y\sim\chi^2(n,\lambda)\) 。当 \(\lambda=0\) 时，称随机变量 \(Y=X'X\) 的分布为自由度为 \(n\) 的中心 \(\chi^2\) 分布，记为 \(Y\sim\chi^2(n)\) 。
定理 2.4.2：\(\chi^2\) 分布的性质：
(1) 可加性：设 \(Y_i\sim\chi^2(n_i,\lambda_i),\,i=1,2,\cdots,k\) 且相互独立，则
(2) 数字特征：设 \(Y\sim\chi^2(n,\lambda)\) ，则 \({\rm E}(Y)=n+\lambda,\,{\rm Var}(Y)=2n+4\lambda\) 。
(1) 非中心 \(\chi^2\) 分布的特征函数为
\[\Phi(t)=(1-2it)^{-n/2}\exp\left\{\frac{it\lambda}{1-2it}\right\} \ . \]设 \(Y=Y_1+Y_2+\cdots+Y_k\) ，其特征函数为 \(\Phi(t)\) ，设 \(Y_i\) 的特征函数为 \(\Phi_i(t)\) ，利用 \(Y_i\) 的独立性可知
\[\begin{aligned} \Phi(t)&=\Phi_1(t)\Phi_2(t)\cdots\Phi_k(t) \\ \\ &=\prod_{i=1}^k(1-2it)^{-n_i/2}\exp\left\{\frac{it\lambda_i}{1-2it}\right\} \\ \\ &=(1-2it)^{-(n_1+n_2+\cdots+n_k)/2}\exp\left\{\frac{it(\lambda_1+\lambda_2+\cdots+\lambda_k)}{1-2it}\right\} \\ \\ &=(1-2it)^{-n/2}\exp\left\{\frac{it\lambda}{1-2it}\right\} \ . \end{aligned} \](2) 根据非中心 \(\chi^2\) 分布的定义，
\[Y\xlongequal{d}X_1^2+X_2^2+\cdots+X_{n-1}^2+X_n^2 \ , \]其中 \(X_i\sim N(0,1),\,i=1,2,\cdots,n-1,\,X_n\sim N\left(\sqrt{\lambda},1\right)\) ，且相互独立，于是有
\[{\rm E}(Y)=\sum_{i=1}^n{\rm E}\left(X_i^2\right) \ , \quad {\rm Var}(Y)=\sum_{i=1}^n{\rm Var}\left(X_i^2\right) \ . \]又因为
\[{\rm E}\left(X_i^2\right)={\rm Var}\left(X_i\right)+\left[{\rm E}\left(X_i\right)\right]^2= \left\{\begin{array}{ll} 1 \ , & i=1,2,\cdots,n-1 \ , \\ 1+\lambda \ , & i=n \ , \end{array}\right. \]所以 \({\rm E}(Y)=n+\lambda\) 。
此外，利用正态分布的概率密度函数，经积分计算可得
\[{\rm E}\left(X_i^4\right)=\left\{\begin{array}{ll} 3 \ , & i=1,2,\cdots,n-1 \ , \\ \lambda^2+6\lambda+3 \ , & i=n \ , \end{array}\right. \]于是有
\[{\rm Var}\left(X_i^2\right)={\rm E}\left(X_i^4\right)-\left[{\rm E}\left(X_i^2\right)\right]^2=\left\{\begin{array}{ll} 2 \ , & i=1,2,\cdots,n-1 \ , \\ 4\lambda+2 \ , & i=n \ , \end{array}\right. \]所以 \({\rm Var}(Y)=2n+4\lambda\) 。
推论 2.4.1：设 \(X\sim N_n(0,\Sigma)\) ，\(\Sigma\) 为正定矩阵，则 \(X'\Sigma^{-1}X\sim\chi^2(n)\) 。
证明：记 \(Y=\Sigma^{-1/2}X\) ，则可知 \(Y\sim N_n\left(0,I_n\right)\) ，又因为
\[X'\Sigma^{-1}X=\left(\Sigma^{-1/2}X\right)'\Sigma^{-1/2}X=Y'Y \ , \]所以 \(X'\Sigma^{-1}X\sim\chi^2(n)\) 。
推论 2.4.2：设 \(X\sim\chi^2(n)\) ，则 \({\rm E}(X)=n,\,{\rm Var}(X)=2n\) 。
推论 2.4.3：设 \(X_1,X_2,\cdots,X_k\) 相互独立，且 \(X_i\sim\chi^2\left(n_i\right),\,i=1,2,\cdots,k\) ，则
定理 2.4.3：设 \(A\) 为 \(n\times n\) 实对称矩阵，\(X\sim N_n\left(\mu,I_n\right)\) ，则 \(X'AX\sim\chi^2\left(r,\mu'A\mu\right)\) 当且仅当 \(A\) 是幂等矩阵且 \({\rm rank}(A)=r\) 。
这里我们只证明充分性。设 \(A\) 是对称幂等矩阵且 \({\rm rank}(A)=r\) 。
易证对称幂等矩阵的特征根只能为 \(0\) 或 \(1\) ，于是存在正交矩阵 \(Q\) 使得
\[A=Q\left(\begin{array}{cc} I_r & 0 \\ 0 & 0 \end{array}\right)Q' \ . \]令 \(Y=Q'X\) ，则 \(Y\sim N_n\left(Q'\mu,I_n\right)\) 。对 \(Y\) 和 \(Q'\) 做分块
\[Y=\left(\begin{array}{c} Y_1 \\ Y_2 \end{array}\right) \ , \quad Q'=\left(\begin{array}{c} Q_1 \\ Q_2 \end{array}\right) \ , \]其中 \(Y_1\) 是 \(r\times1\) 向量，\(Q_1\) 是 \(r\times n\) 矩阵，于是 \(A=Q_1'Q_1,\,Y_1\sim N_r\left(Q_1\mu,I_r\right)\) ，所以有
\[X'AX=X'Q\left(\begin{array}{cc} I_r & O \\ O & O \end{array}\right)Q'X=Y’\left(\begin{array}{cc} I_r & O \\ O & O \end{array}\right)Y=Y_1'Y_1\sim\chi^2(r,\lambda) \ , \]其中 \(\lambda=\left(Q_1\mu\right)'(Q_1\mu)=\mu'Q_1'Q_1\mu=\mu'A\mu\) 。
推论 2.4.4：设 \(A\) 为 \(n\times n\) 实对称矩阵，\(X\sim N(\mu,I_n)\) ，则 \(X'AX\sim\chi^2(k)\) 当且仅当 \(A\) 是幂等矩阵且 \({\rm rank}(A)=k,\,A\mu=0\) 。
推论 2.4.5：设 \(A\) 为 \(n\times n\) 实对称矩阵，\(X\sim N(0,I_n)\) ，则 \(X'AX\sim\chi^2(k)\) 当且仅当 \(A\) 是幂等矩阵且 \({\rm rank}(A)=k\) 。
推论 2.4.6：设 \(A\) 为 \(n\times n\) 实对称矩阵，\(X\sim N(\mu,\Sigma),\,\Sigma>0\) ，则 \(X'AX\sim\chi^2\left(r,\mu'A\mu\right)\) 当且仅当 \(A\Sigma A=A\) 且 \({\rm rank}(A)=k\) 。
定理 2.4.3 及其推论把判定正态随机向量的二次型是否服从 \(\chi^2\) 分布的问题，等价转化为研究相应的二次型矩阵的问题，而后者往往容易处理。
定理 2.4.4：设 \(A\) 为 \(n\times n\) 实对称矩阵，\(X\sim N_n(\mu,I_n)\) ，已知
其中 \(A_2=A-A_1\geq0,\,\lambda=\mu'A\mu,\,\lambda_1=\mu'A_1\mu\) ，则有
(1) \(X'A_2X\sim\chi^2(r-s,\lambda_2)\) ，其中 \(\lambda_2=\mu'A_2\mu\) ；
(2) \(X'A_1X\) 与 \(X'A_2X\) 相互独立；
(3) \(A_1A_2=O\) 。
因为 \(X'AX\sim\chi^2(r,\lambda)\) ，故由定理 2.4.3 知 \(A\) 是幂等矩阵且 \({\rm rank}(A)=r\) 。于是，存在 \(n\times n\) 的正交矩阵 \(P\) 使得
\[P'AP=\left(\begin{array}{cc} I_r & O \\ O & O \end{array}\right) \ . \]因为 \(A_1\) 是对称幂等矩阵，所以是非负定矩阵，所以有 \(A-A_1\geq0,\,A-A_2\geq0\) ，所以
\[P'(A-A_1)P\geq0 \ , \quad P'(A-A_2)P\geq0 \ . \]由 \(P'AP\) 的矩阵形式可知，存在 \(r\times r\) 的对称矩阵 \(B_1\) 和 \(B_2\) ，使得
\[P'A_1P=\left(\begin{array}{cc} B_1 & O \\ O & O \end{array}\right) \ , \quad P'A_2P=\left(\begin{array}{cc} B_2 & O \\ O & O \end{array}\right) \ . \]由于 \(A_1^2=A_1\) ，因此有 \(B_1^2=B_1\) 。故存在 \(r\times r\) 的正交矩阵 \(Q\) 使得
\[Q'B_1Q=\left(\begin{array}{cc} I_s & O \\ O & O \end{array}\right) \ , \quad s\leq r \ . \]记
\[S'=\left(\begin{array}{cc} Q' & O \\ O & I_{n-r} \end{array}\right)P' \ , \]则
\[S'S=\left(\begin{array}{cc} Q' & O \\ O & I_{n-r} \end{array}\right)P'P\left(\begin{array}{cc} Q & O \\ O & I_{n-r} \end{array}\right)=\left(\begin{array}{cc} Q' & O \\ O & I_{n-r} \end{array}\right)\left(\begin{array}{cc} Q & O \\ O & I_{n-r} \end{array}\right)=I_n \ . \]即 \(S'\) 为正交矩阵，且使
\[S'AS=S'A_1S+S'A_2S \ , \]形如
\[\left(\begin{array}{ccc} I_s & O & O \\ O & I_{r-s} & O \\ O & O & O \end{array}\right)=\left(\begin{array}{ccc} I_s & O & O \\ O & O & O \\ O & O & O \end{array}\right)+\left(\begin{array}{ccc} O & O & O \\ O & I_{r-s} & O \\ O & O & O \end{array}\right) . \]作变换 \(Y=S'X\) ，则 \(Y\sim N_n\left(S'\mu,I_n\right)\) ，于是
\[\begin{aligned} &X'AX=Y'S'ASY=\sum_{i=1}^rY_i^2 \ , \\ \\ &X'A_1X=Y'S'A_1SY=\sum_{i=1}^sY_i^2 \ , \\ \\ &X'A_2X=Y'S'A_2SY=\sum_{i=s+1}^sY_i^2 \ . \end{aligned} \]因为 \(Y_1,Y_2,\cdots,Y_n\) 相互独立，所以 \(X'A_1X\) 和 \(X'A_2X\) 相互独立。因为 \(S'A_2S\) 是对称幂等矩阵，秩为 \(r-s\) ，所以
\[X'A_2X=Y'S'A_2SY\sim\chi^2(r-s,\lambda_2) \ , \quad \lambda_2=\mu'A_2\mu \ . \]最后有
\[A_1A_2=S\left(\begin{array}{ccc} I_s & O & O \\ O & O & O \\ O & O & O \end{array}\right)S'S\left(\begin{array}{ccc} O & O & O \\ O & I_{r-s} & O \\ O & O & O \end{array}\right)S'=O \ . \]
推论 2.4.7：设 \(X\sim N_n(\mu,I_n)\) ，\(A_1\) 和 \(A_2\) 为 \(n\times n\) 实对称矩阵，\(X'A_1X\) 和 \(X'A_2X\) 都服从 \(\chi^2\) 分布，则 \(X'A_1X\) 和 \(X'A_2X\) 相互独立当且仅当 \(A_1A_2=O\) 。
首先证明充分性。设 \(A_1A_2=O\) ，于是 \(A_2A_1=(A_1A_2)'=O\) ，令 \(A=A_1+A_2\) 。
由 \(X'A_1X\) 和 \(X'A_2X\) 都服从 \(\chi^2\) 分布知 \(A_1\) 和 \(A_2\) 都是幂等矩阵，从而有
\[A^2=(A_1+A_2)^2=A_1^2+A_2^2+A_1A_2+A_2A_1=A_1+A_2=A \ . \]所以 \(A\) 是对称幂等矩阵。由定理 2.4.4 (2) 可知 \(X'A_1X\) 和 \(X'A_2X\) 相互独立。
然后证明必要性。设 \(X'A_1X\) 和 \(X'A_2X\) 相互独立。由 \(\chi^2\) 分布的可加性知 \(X'AX\) 服从 \(\chi^2\) 分布。
由定理 2.4.4 (3) 可知 \(A_1A_2=O\) 。
我们可以将上述两个结论中的协方差阵 \({\rm Cov}(X)=I_n\) ，推广到 \({\rm Cov}(X)=\Sigma>0\) 的情形，即可得到如下两个推论。
推论 2.4.8：设 \(A\) 为 \(n\times n\) 实对称矩阵，\(X\sim N_n(\mu,\Sigma),\,\Sigma>0\) ，已知
其中 \(A_2=A-A_1\geq0,\,\lambda=\mu'A\mu,\,\lambda_1=\mu'A_1\mu\) ，则有
(1) \(X'A_2X\sim\chi^2(r-s,\lambda_2)\) ，其中 \(\lambda_2=\mu'A_2\mu\) ；
(2) \(X'A_1X\) 与 \(X'A_2X\) 相互独立；
(3) \(A_1\Sigma A_2=O\) 。
推论 2.4.9：设 \(X\sim N_n(\mu,\Sigma),\,\Sigma>0\) ，\(A_1\) 和 \(A_2\) 为 \(n\times n\) 实对称矩阵，\(X'A_1X\) 和 \(X'A_2X\) 都服从 \(\chi^2\) 分布，则 \(X'A_1X\) 和 \(X'A_2X\) 相互独立当且仅当 \(A_1\Sigma A_2=O\) 。
接下来讨论二次型 \(X'AX\) 和线性型 \(CX\) 的独立性条件，这些结果将主要应用于在线性模型的参数估计和假设检验中。
定理 2.4.5：设 \(X\sim N_n(\mu,I_n)\) ，\(A\) 为 \(n\times n\) 实对称矩阵，\(C\) 为 \(m\times n\) 实矩阵，若 \(CA=O\) ，则 \(CX\) 与 \(X'AX\) 相互独立。
因为 \(A\) 为实对称矩阵，所以存在正交阵 \(Q\) 使得
\[A=Q\left(\begin{array}{cc} \Lambda & O\\ O & O \end{array}\right)Q' \ , \]其中 \(\Lambda={\rm diag}(\lambda_1,\lambda_2,\cdots,\lambda_r)\) 为 \(A\) 的非零特征根，\({\rm rank}(A)=r\) 。
把 \(Q\) 分块成 \(Q=(Q_1 \ \ Q_2 )\) ，其中 \(Q_1\) 是 \(n\times r\) 矩阵。作正交变换
\[Y=\left(\begin{array}{c} Y_1 \\ Y_2 \end{array}\right)=Q'X \ . \]于是 \(Y_1=Q_1'X,\,Y_2=Q_2'X\) ，且有 \(Y\sim N_n\left(Q'\mu,I_n\right)\) ，所以
\[Y_1\sim N_r\left(Q_1'\mu,I_r\right) \ , \quad Y_2\sim N_{n-r}\left(Q_2'\mu,I_{n-r}\right) \ , \]且 \(Y_1\) 与 \(Y_2\) 相互独立。注意到
\[\begin{aligned} &X'AX=Y'Q'AQY=Y_1'\Lambda Y_1 \ , \\ \\ &CX=CQY\xlongequal{def}DY \ , \quad D=CQ \ , \end{aligned} \]由于 \(CA=O\) ，所以
\[O=CAQ=CQQ'AQ=DQ'AQ=D\left(\begin{array}{cc} \Lambda & O \\ O & O \end{array}\right) \ . \]把 \(D\) 分块成 \(D=(D_1 \ \ D_2)\) ，其中 \(D_1\) 是 \(m\times r\) 矩阵，则上式可以推出 \(D_1=O\) ，从而代回得到
\[CX=DY=D_2Y_2 \ . \]再由 \(Y_1\) 和 \(Y_2\) 的独立性可知，\(Y_1'\Lambda Y_1\) 和 \(DY_2\) 相互独立，从而 \(CX\) 和 \(X'AX\) 相互独立。
将上述结论中的协方差阵 \({\rm Cov}(X)=I_n\) 推广到 \({\rm Cov}(X)=\Sigma>0\) 的情形，有如下推论。
推论 2.4.10：设 \(X\sim N_n(\mu,\Sigma),\,\Sigma>0\) ，\(A\) 为 \(n\times n\) 实对称矩阵，\(C\) 为 \(m\times n\) 实矩阵，若 \(C\Sigma A=O\) ，则 \(CX\) 与 \(X'AX\) 相互独立。
接下来讨论两个二次型 \(X'AX\) 和 \(X'BX\) 的独立性条件。
定理 2.4.6：设 \(X\sim N_n(\mu,I_n)\) ，\(A\) 和 \(B\) 均为 \(n\times n\) 实对称矩阵，若 \(AB=O\) ，则 \(X'AX\) 与 \(X'BX\) 相互独立。
由 \(A\) 和 \(B\) 的对称性及 \(AB=O\) 可知 \(AB=BA=O\) ，即 \(AB\) 可交换。所以可用同一正交矩阵将这两个矩阵对角化，即存在正交矩阵 \(Q\) 使得
\[\begin{aligned} &Q'AQ=\Lambda_1={\rm diag}\left(\lambda_1^{(1)},\lambda_2^{(1)},\cdots,\lambda_n^{(1)}\right) \ , \\ \\ &Q'BQ=\Lambda_2={\rm diag}\left(\lambda_1^{(2)},\lambda_2^{(2)},\cdots,\lambda_n^{(2)}\right) \ . \end{aligned} \]由 \(AB=O\) ，可推得 \(\Lambda_1\Lambda_2=O\) ，即 \(\lambda_i^{(1)}\) 和 \(\lambda_i^{(2)}\) 至少有一个为 \(0\) ，\(i=1,2,\cdots,n\) 。
令 \(Y=Q'X\) ，则 \(Y\sim N_n\left(Q'\mu,I_n\right)\) ，于是 \(Y\) 的所有分量相互独立。另一方面，由于
\[\begin{aligned} X'AX=Y'Q'AQY=Y'\Lambda_1Y \ , \\ \\ X'BX=Y'Q'BQY=Y'\Lambda_2Y \ , \end{aligned} \]所以可知 \(X'AX\) 与 \(X'BX\) 依赖于 \(Y\) 的不同分量，所以 \(X'AX\) 与 \(X'BX\) 相互独立。
同样的，该定理可以推广到 \({\rm Cov}(X)=\Sigma>0\) 的情形。
推论 2.4.11：设 \(X\sim N_n(\mu,\Sigma),\,\Sigma>0\) ，\(A\) 和 \(B\) 均为 \(n\times n\) 实对称矩阵，若 \(A\Sigma B=O\) ，则 \(X'AX\) 与 \(X'BX\) 相互独立。
2.5 矩阵微商的常用性质
设 \(X=(x_{ij})\) 是 \(m\times n\) 矩阵，\(y=f(X)\) 为 \(X\) 的一个实值函数，定义矩阵
称为 \(y\) 对 \(X\) 的微商。
定理 2.5.1：设 \(a\) 和 \(x\) 均为 \(n\) 维向量，\(y=a'x\) ，则有 \(\cfrac{\partial y}{\partial x}=a\) 。
因为
\[y=a'x=\sum_{i=1}^na_ix_i \ , \]所以
\[\frac{\partial y}{\partial x} =\left(\begin{array}{cccc} \cfrac{\partial y}{\partial x_{1}} \\ \cfrac{\partial y}{\partial x_{2}} \\ \vdots \\ \cfrac{\partial y}{\partial x_{n}} \\ \end{array}\right) =\left(\begin{array}{cccc} a_1 \\ a_2 \\ \vdots \\ a_n \\ \end{array}\right)=a \ . \]此外可知
\[\frac{\partial x'a}{\partial x}=\frac{\partial y}{\partial x}=\frac{\partial a'x}{\partial x}=a \ . \]
定理 2.5.2：设 \(A\) 为 \(m\times n\) 矩阵，\(x\) 为 \(n\) 维向量，\(y=x'Ax\) ，则有 \(\cfrac{\partial y}{\partial x}=Ax+A'x\) 。
因为
\[y=x'Ax=\sum_{i=1}^n\sum_{j=1}^na_{ij}x_ix_j \ , \]所以
\[\begin{aligned} \frac{\partial y}{\partial x_1}&=\sum_{i=1}^na_{i1}x_i+\sum_{j=1}^na_{1j}x_j \ , \\ \\ \frac{\partial y}{\partial x_2}&=\sum_{i=1}^na_{i2}x_i+\sum_{j=1}^na_{2j}x_j \ , \\ \\ &\vdots \\ \\ \frac{\partial y}{\partial x_n}&=\sum_{i=1}^na_{in}x_i+\sum_{j=1}^na_{nj}x_j \ . \end{aligned} \]因此可以看出
\[\frac{\partial y}{\partial x} =\left(\begin{array}{cccc} \cfrac{\partial y}{\partial x_{1}} \\ \cfrac{\partial y}{\partial x_{2}} \\ \vdots \\ \cfrac{\partial y}{\partial x_{n}} \\ \end{array}\right) =\left(\begin{array}{cccc} \sum\limits_{i=1}^na_{i1}x_i+\sum\limits_{j=1}^na_{1j}x_j \\ \sum\limits_{i=1}^na_{i2}x_i+\sum\limits_{j=1}^na_{2j}x_j \\ \vdots \\ \sum\limits_{i=1}^na_{in}x_i+\sum\limits_{j=1}^na_{nj}x_j \\ \end{array}\right)=Ax+A'x \ . \]此外，若 \(A\) 为 \(n\times n\) 对称矩阵，则
\[\frac{\partial x'Ax}{\partial x}=2Ax \ . \]
