【4】多元正态分布

多元正态分布定义及性质

变换法

设:

• \(U=(U_1,\dots,U_q)'\sim N(0,1)\)，
• \(\mu\)为\(p\)维常数向量，
• \(A\)为\(p\times q\)常数矩阵，

则称 \(X=AU+\mu\) 的分布为 \(p\)元正态分布，\(X\)为\(p\)维正态随机向量，记为：“\(X\sim N_p(\mu,AA')\)”.

---

特征函数法

\(X\)的特征函数为：

\[\Phi_X(t)=exp\left[it'\mu-\frac12t'AA't\right] \]

\[\begin{align} \Phi_X(t)=&E(e^{it'X})=E(e^{it'(AU+\mu)})\\ =&exp(it'\mu)\cdot E(e^{it'AU})\\ 令&s'=t'A=(s_1,\dots,s_q)\\ =&exp(it'\mu)\cdot E(e^{i(s_1U_1+\dots s_qU_q)})\\ =&exp(it'\mu)\cdot \prod_{j=1}^qE(e^{is_jU_j})\\ =&exp(it'\mu)\cdot \prod_{j=1}^qexp(-\frac12s_j^2)\\ =&exp(it'\mu-\frac12s's)\\ =&exp(it'\mu-\frac12t'AA't) \end{align} \]

若\(p\)维随机向量\(X\)的特征函数满足上式，则称\(X\)服从\(p\)维正态分布，记为\(X\sim N_p(\mu,\Sigma)\).

---

性质法

(定义) 若\(p\)维随机向量\(X\)的任意线性组合均服从一元正态分布，则称\(X\)为\(p\)维正态随机向量。

• 设\(X\sim N_p(\mu,\Sigma)\),\(B\)为\(s\times p\)维常数矩阵，\(d\)为\(s\)维常向量，令\(Z=BX+d\)，则\(Z\sim N_s(B\mu+d,B\Sigma B')\).其中，对于\(X\)，\(E(X)=\mu，D(X)=\Sigma\)

由于\(\Sigma\geq0\)，则可分解为\(\Sigma=AA'\)设\(X=AU+\mu\),其中\(U_i\sim N(0,1)\),则

\[\begin{align} Z&=BX+d\\ &=B(AU+\mu)+d\\ &=BAU+B\mu+d \end{align} \]

于是\(Z\sim N_s(B\mu+d,(BA)(BA)')\)即\(Z\sim N_s(B\mu+d,B\Sigma B')\)

此性质说明，正态随机向量的任意线性组合仍服从正态分布。

• 若将\(X\sim N_p(\mu,\Sigma)\)进行分割：

\[X= \left[ \begin{array}{c} X^{(1)}_r\\ X^{(2)}_{p-r} \end{array} \right]， \mu= \left[ \begin{array}{c} \mu^{(1)}_r\\ \mu^{(2)}_{p-r} \end{array} \right]， \Sigma= \left[ \begin{array}{c|c} \Sigma_{11} &\Sigma_{12}\\ \hline \Sigma_{21} &\Sigma_{22} \end{array} \right]，(\Sigma_{11}为r\times r方阵) \]

则\(X^{(1)}\sim N_r(\mu^{(1)},\Sigma_{11})\),即多元正态分布的边缘分布仍为正态分布,而反之不一定成立。

• (充要条件)若\(X\)为\(p\)维随机向量，其服从正态分布 \(\leftrightarrows\) 对任意\(p\)维实向量\(a=(a_1,\dots,a_p)'\)，有\(\xi=a'X\)为一维正态随机变量。

\(\rightrightarrows\)

设\(B=a',d=0\)，则

\[\begin{align} \xi=&BX+d\\ =&a'X \sim N(a'\mu,\ a'\Sigma a) \end{align} \]

\(\leftleftarrows\)

对 \(\forall t\in\R^p,\xi=t'X\sim “正态分布”\),则\(E(X_i),Cov(X_i,X_j)\)均存在，记\(E(X)=\mu,D(X)=\Sigma\)

则对 \(\forall t\in\R^p,\xi=t'X\sim N(\ t'\mu\ ,\ t'\Sigma t\ )\)，且特征函数为：

\[\Phi_\xi(\theta)=E(e^{i\theta\xi})=exp\left[i\theta(t'\mu)-\frac12\theta^2(t'\Sigma t)\right] \]

若令\(\theta=1\)，则：

\[\Phi_\xi(1)=E(e^{i\xi})=E(e^{it'X})=\Phi_X(t)=exp\left[it'\mu-\frac12t'AA't\right] \]

则:\(X\sim N(\mu,\Sigma )\)

---

概率密度法

(多维正态随机向量联合密度函数)设\(X\sim N_p(\mu,\Sigma)，\Sigma>0\)，则：

\[f(x)=\frac1{(2\pi)^{p/2}|\Sigma|^{1/2}}exp\{-\frac12(x-\mu)'\Sigma^{-1}(x-\mu)\} \]

因为\(\Sigma>0,rank(\Sigma)=p\)所以\(\exist A_{p\times p}\)为非奇异方阵，使得\(\Sigma=A'A\)并且满足\(X=AU+\mu\),其中\(U_i\)相互独立同\(N(0,1)\)分布,则

\[\begin{align} f_X(x)=&\frac1{(2\pi)^{p/2}}exp\{-\frac12u'u\}J(u\to x)\\ =&\frac1{(2\pi)^{p/2}}exp\{-\frac12[A^{-1}(x-\mu)]'[A^{-1}(x-\mu)]\}\frac1{J(x\to u)}\\ =&\frac1{(2\pi)^{p/2}|\Sigma|^{1/2}}exp\{-\frac12(x-\mu)'\Sigma^{-1}(x-\mu)\} \end{align} \]

由\(X=AU+\mu\),则\(J(x\to u)\)为：

\[\begin{align} J(x\to u)&=\left[\frac{\partial x'}{\partial u}\right]_+\\ &= \left[ \begin{array}{ccc} \frac{\partial x_1}{\partial u_1}&\dots&\frac{\partial x_p}{\partial u_1}\\ \vdots&&\vdots\\ \frac{\partial x_1}{\partial u_p}&\dots&\frac{\partial x_p}{\partial u_p}\\ \end{array} \right]\\ &=|A'|_+\\ &=|AA'|^{1/2}=|\Sigma|^{1/2} \end{align} \]