概率与随机变量(三)
随机向量是由随机变量组成的向量。
\[\left.\mathbf{X}=\left(\begin{array}{ccccc}\mathrm{X}_1&\mathrm{X}_2&...&\mathrm{X}_{\mathrm{L}-1}&\mathrm{X}_\mathrm{L}\end{array}\right.\right)^\mathrm{T}=\begin{pmatrix}\mathrm{X}_1\\\mathrm{X}_2\\\vdots\\\mathrm{X}_\mathrm{L}\end{pmatrix}
\]
其中 () T 表示一个向量矩阵的转置;
对于L个随机变量{X1,X2,...,XL}作为向量X,可以用一个L-维度的pdf fx(x)进行代表。
\[CDF:\mathcal{F}_{\mathbf{X}}\left(\mathbf{x}\right)=\mathcal{F}_{\mathbf{X}}\left(\mathbf{x}_{1},\mathbf{x}_{2},...,\mathbf{x}_{\mathrm{L}}\right)=\Pr\left\{X_{1}\leqslant x_{1},X_{2}\leqslant x_{2},...,X_{\mathrm{L}}\leqslant x_{\mathrm{L}}\right\}
\]
\[\text{The probability that X is in a region D of the L-dimensional space}:\Pr\{\mathbf{X}\in\mathcal{D}\}=\int_{\mathcal{D}}\cdots\int_{\mathcal{D}}\mathrm{f}_{\mathcal{X}}\left(\mathbf{x}\right)\mathrm{d}\mathbf{x}
\]
在分布函数层面,边缘化表现为令其他变量为 ∞;在密度函数层面,边缘化表现为对其他变量求积分。
The mean vector:
\[\mathbb{E}\left[\mathbf{X}\right]=\begin{pmatrix}\mathbb{E}\left[\mathbf{X}_1\right]&\mathbb{E}\left[\mathbf{X}_2\right]&...&\mathbb{E}\left[\mathbf{X}_{\mathrm{L-1}}\right]&\mathbb{E}\left[\mathbf{X}_\mathrm{L}\right]\end{pmatrix}^\mathrm{T}
\]
The correlation matrix:
\[\left.\mathbf{R}_{\mathbf{X}}=\left(\begin{array}{cccc}\mathbb{E}\left[\mathbf{X}_1^2\right]&\mathbb{E}\left[\mathbf{X}_1\mathbf{X}_2\right]&...&\mathbb{E}\left[\mathbf{X}_1\mathbf{X}_\mathrm{L}\right]\\\mathbb{E}\left[\mathbf{X}_2\mathbf{X}_1\right]&\mathbb{E}\left[\mathbf{X}_2^2\right]&...&\mathbb{E}\left[\mathbf{X}_2\mathbf{X}_\mathrm{L}\right]\\\vdots&\vdots&\ddots&\vdots\\\mathbb{E}\left[\mathbf{X}_\mathrm{L}\mathbf{X}_1\right]&\mathbb{E}\left[\mathbf{X}_\mathrm{L}\mathbf{X}_2\right]&...&\mathbb{E}\left[\mathbf{X}_\mathrm{L}^2\right]\end{array}\right.\right)
\]
The covariance matrix(协方差矩阵):
\[\left.\mathbf{C}_{\mathbf{X}}=\left(\begin{array}{cccc}\mathrm{Var}\left(\mathrm{X}_1\right)&\mathrm{Cov}\left(\mathrm{X}_1,\mathrm{X}_2\right)&...&\mathrm{Cov}\left(\mathrm{X}_1,\mathrm{X}_\mathrm{L}\right)\\\mathrm{Cov}\left(\mathrm{X}_2,\mathrm{X}_1\right)&\mathrm{Var}\left(\mathrm{X}_2\right)&...&\mathrm{Cov}\left(\mathrm{X}_2,\mathrm{X}_\mathrm{L}\right)\\\vdots&\vdots&\ddots&\vdots\\\mathrm{Cov}\left(\mathrm{X}_\mathrm{L},\mathrm{X}_1\right)&\mathrm{Cov}\left(\mathrm{X}_\mathrm{L},\mathrm{X}_2\right)&...&\mathrm{Var}\left(\mathrm{X}_\mathrm{L}\right)\end{array}\right.\right)
\]
𝐑𝐗 和 𝐂𝐗 均为 L × L 对称矩阵。
若 𝐗 的各元素互不相关,则 𝐂𝐗 为对角矩阵。

$$
\begin{gathered}Var(Z)=\mathrm{Var}\left(\sum_{\mathrm{l}=1}^\mathrm{L}\mathrm{a}_\mathrm{l}\mathrm{X}_\mathrm{L}\right)=\mathbb{E}\left[\left(\sum_{\mathrm{l}=1}^\mathrm{L}\mathrm{a}_\mathrm{l}\left(\mathrm{X}_\mathrm{l}-\mathbb{E}\left[\mathrm{X}_\mathrm{L}\right]\right)\right)^2\right]\\=\sum_{\mathrm{n=1}}^\mathrm{L}\sum_{\mathrm{m=1}}^\mathrm{L}a_\mathrm{n}a_\mathrm{m}\mathrm{~Cov~}(X_\mathrm{n},X_\mathrm{m})=\underbrace{a^\mathrm{T}C_Xa}\end{gathered}
$$
\[\text{把 }a=(a_1,\ldots,a_L)^T\mathrm{,}C_X\text{的第 }(n,m)\text{元素是 Cov}(X_n,X_m)\text{,那么二次型 }a^TC_Xa=\sum_n\sum_ma_nC_{nm}a_m\text{,完全一致。}
\]
将对角线上的元素分开:
\[\begin{aligned}&n=m{: }a_n^2\mathrm{Cov}(X_n,X_n)=a_n^2\mathrm{Var}(X_n)\\&n\neq m{:}a_na_m\mathrm{Cov}(X_n,X_m)\text{(成对出现)}\end{aligned}
\]
\[\mathrm{Var}\left(\sum_{l=1}^{L} a_{l}X_{l}\right)
=
\sum_{l=1}^{L}a_{l}^{2}\mathrm{Var}\left(X_{l}\right)
+
\sum_{n=1}^{L}
\sum_{\substack{m=1\\m\ne n}}^{L}
a_{n}a_{m}\operatorname{Cov}\left(X_{n},X_{m}\right)
\]
\[(x_1+x_2)^2=x_1^2+2x_1x_2+x_2^2=\sum_n\sum_mx_nx_m,(n,m从1到2)
\]

$$
Y=\sum_{n=1}^{N}X_{n}\quad\text{is a random sum of random variables}
$$
\[\begin{aligned}\mathbb{E}\left[\mathrm{Y}|\mathrm{N}\right]&=\mathbb{E}\left[\sum_{\mathrm{n}=1}^{\mathrm{N}}\mathrm{X}_{\mathrm{n}}|\mathrm{N}\right]=\sum_{\mathrm{n}=1}^{\mathrm{N}}\mathbb{E}\left[\mathrm{X}_{\mathrm{n}}\right]=\sum_{\mathrm{n}=1}^{\mathrm{N}}\mathrm{\mu}=\mathrm{\mu}\mathrm{N}\\\mathbb{E}\left[\mathrm{Y}\right]&=\mathbb{E}\left[\mathbb{E}\left[\mathrm{Y}|\mathrm{N}\right]\right]=\mathbb{E}\left[\mathrm{\mu}\mathrm{N}\right]=\mathrm{\mu}\mathbb{E}\left[\mathrm{N}\right]\end{aligned}
\]
\[(\sum X_n)^2=\sum X_n^2+\sum_{n\neq m}X_nX_m
\]
\[\text{方差:o }_x^2=\mathrm{Var}\left(\mathrm{X}\right)=\mathbb{E}\left[\left(\mathrm{X}-\mathbb{E}\left[\mathrm{X}\right]\right)^2\right]=\mathbb{E}\left[\mathrm{X}^2\right]-\left(\mathbb{E}\left[\mathrm{X}\right]\right)^2
\]
\[\mathbb{E}[X_{n}X_{m}]
=
\begin{cases}
\mathbb{E}[X_{n}^{2}]
=\operatorname{Var}(X_{n})
+\left(\mathbb{E}[X_{n}]\right)^{2}
=\sigma^{2}+\mu^{2},
& n=m,\\[4pt]
\mathbb{E}[X_{n}]\mathbb{E}[X_{m}]
=\mu^{2},
& n\neq m.
\end{cases}
\]
\[\text{第一部分}\sum X_n^2\text{对应这里的 }m=n\text{情况,期望和是 }N(\sigma^2+\mu^2)
\]
\[\text{第二部分交叉项对应这里的 }m\neq n\text{情况,期望和是 }N(N-1)\mu^2
\]
\[\mathbb{E}\left[\mathrm{Y}^2\right]=\mathbb{E}\left[\mathbb{E}\left[\mathrm{Y}^2|\mathrm{N}\right]\right]=\mathbb{E}\left[\mathrm{N}\sigma^2+\mathrm{N}^2\mu^2\right]=\sigma^2\mathbb{E}\left[\mathrm{N}\right]+\mu^2\mathbb{E}\left[\mathrm{N}^2\right]
\]
\[\begin{aligned}Var(Y)&=\mathbb{E}\left[Y^2\right]-\left(\mathbb{E}\left[Y\right]\right)^2\\&=\sigma^2\mathbb{E}\left[\mathbb{N}\right]+\mu^2\mathbb{E}\left[\mathbb{N}^2\right]-\left(\mu\mathbb{E}\left[\mathbb{N}\right]\right)^2\\&=\sigma^2\mathbb{E}\left[\mathbb{N}\right]+\mu^2\mathrm{Var}\left(\mathbb{N}\right)\end{aligned}
\]

$$
\text{设随机向量 }\mathbf{X}=(X_1,X_2,X_3)^T\text{,协方差矩阵 }\mathbf{C}_X=\mathrm{Cov}(\mathbf{X})=\mathbb{E}[(\mathbf{X}-\boldsymbol{\mu})(\mathbf{X}-\boldsymbol{\mu})^T]\mathrm{。}
$$
\[\text{若 }Z=a_1X_1+a_2X_2+a_3X_3=\mathbf{a}^T\mathbf{X}\text{,其中系数向量 }\mathbf{a}=(3,-1,2)^T\text{(对应 }Z=3X_1-1X_2+2X_3)
\]
\[\mathrm{Var}(Z)=\mathrm{Var}(\mathbf{a}^T\mathbf{X})=\mathbf{a}^T\mathbf{C}_X\mathbf{a}
\]
\[\begin{gathered}Var(Z)=\begin{pmatrix}3&-1&2\end{pmatrix}\begin{pmatrix}10&3&2\\3&7&-1\\2&-1&5\end{pmatrix}\begin{pmatrix}3\\-1\\2\end{pmatrix}\\=(\begin{array}{ccc}31&0&17\end{array})\begin{pmatrix}3\\-1\\2\end{pmatrix}=127\end{gathered}
\]
\[Y=\mathbf{b}^T\mathbf{X}\text{,其中 }\mathbf{b}=(-1,4,-3)^T\mathrm{;}Z=\mathbf{a}^T\mathbf{X}\mathrm{,}\mathbf{a}=(3,-1,2)^T\mathrm{。}
\]
\[\text{协方差公式:Cov}(Y,Z)=\mathbf{b}^T\mathbf{C}_X\mathbf{a}
\]
\[\begin{gathered}Cov(Y,Z)=\begin{pmatrix}-1&4&-3\end{pmatrix}\begin{pmatrix}10&3&2\\3&7&-1\\2&-1&5\end{pmatrix}\begin{pmatrix}3\\-1\\2\end{pmatrix}\\=(\begin{array}{ccc}-4&28&-21\end{array})\begin{pmatrix}3\\-1\\2\end{pmatrix}=-82.\end{gathered}
\]
随机向量的线性变换
线性系统通过线性变换将输入向量 X 转换为“输出” Y。
\[Y=AX
\]
\[\begin{pmatrix}\mathrm{Y}_{1}\\\mathrm{Y}_{2}\\\vdots\\\mathrm{Y}_{\mathrm{L}}\end{pmatrix}=\begin{pmatrix}\mathrm{a}_{11}&\mathrm{a}_{12}&...&\mathrm{a}_{1\mathrm{L}}\\\mathrm{a}_{21}&\mathrm{a}_{22}&...&\mathrm{a}_{2\mathrm{L}}\\\vdots&\vdots&\ddots&\vdots\\\mathrm{a}_{\mathrm{L1}}&\mathrm{a}_{\mathrm{L2}}&...&\mathrm{a}_{\mathrm{LL}}\end{pmatrix}\begin{pmatrix}\mathrm{X}_{1}\\\mathrm{X}_{2}\\\vdots\\\mathrm{X}_{\mathrm{L}}\end{pmatrix}
\]
\[\text{Y 的第 }k\text{ 个分量:}
\quad
Y_{k}
=a_{k1}X_{1}+a_{k2}X_{2}+\cdots+a_{kL}X_{L}
=\sum_{l=1}^{L}a_{kl}X_{l}
\]
The expected value:
\[\begin{gathered}\mathbb{E}\left[\mathrm{Y}_{\mathrm{k}}\right]=\mathbb{E}\left[\sum_{\mathrm{l}=1}^{\mathrm{L}}\mathrm{a}_{\mathrm{kl}}\mathrm{X}_{\mathrm{l}}\right]=\sum_{\mathrm{l}=1}^{\mathrm{L}}\mathrm{a}_{\mathrm{kl}}\mathbb{E}\left[\mathrm{X}_{\mathrm{l}}\right]\\\begin{pmatrix}\mathbb{E}\left[\mathrm{Y}_1\right]\\\mathbb{E}\left[\mathrm{Y}_2\right]\\\vdots\\\mathbb{E}\left[\mathrm{Y}_\mathrm{L}\right]\end{pmatrix}=\begin{pmatrix}\mathrm{a}_{11}&\mathrm{a}_{12}&...&\mathrm{a}_{1\mathrm{L}}\\\mathrm{a}_{21}&\mathrm{a}_{22}&...&\mathrm{a}_{2\mathrm{L}}\\\vdots&\vdots&\ddots&\vdots\\\mathrm{a}_{\mathrm{L}1}&\mathrm{a}_{\mathrm{L}2}&...&\mathrm{a}_{\mathrm{L}\mathrm{L}}\end{pmatrix}\begin{pmatrix}\mathbb{E}\left[\mathrm{X}_1\right]\\\mathbb{E}\left[\mathrm{X}_2\right]\\\vdots\\\mathbb{E}\left[\mathrm{X}_\mathrm{L}\right]\end{pmatrix}\end{gathered}
\]
\[\mathbb{E}\left[\mathbf{Y}\right]=\mathbf{A}\mathbb{E}\left[\mathbf{X}\right]
\]
The covariance matrix:
\[\begin{aligned}C_{Y}&=\mathbb{E}\left[\left(\mathbf{Y}-\mathbb{E}\left[\mathbf{Y}\right]\right)\left(\mathbf{Y}-\mathbb{E}\left[\mathbf{Y}\right]\right)^\mathrm{T}\right]\\&=\mathbb{E}\left[\left(\mathbf{A}\mathbf{X}-\mathbf{A}\mathbb{E}\left[\mathbf{X}\right]\right)\left(\mathbf{A}\mathbf{X}-\mathbf{A}\mathbb{E}\left[\mathbf{X}\right]\right)^\top\right]\\&=\mathbb{E}\left[\mathbf{A}\left(\mathbf{X}-\mathbb{E}\left[\mathbf{X}\right]\right)\left(\mathbf{X}-\mathbb{E}\left[\mathbf{X}\right]\right)^{\mathsf{T}}\mathbf{A}^{\mathsf{T}}\right]\\&=\mathbf{A}\mathbb{E}\left[\left(\mathbf{X}-\mathbb{E}\left[\mathbf{X}\right]\right)\left(\mathbf{X}-\mathbb{E}\left[\mathbf{X}\right]\right)^\mathrm{T}\right]\mathbf{A}^\mathrm{T}\end{aligned}
\]
\[\underline{C_Y=AC_XA^\intercal}
\]

$$
\mathbb{E}\left[\mathbf{Y}\right]=\mathbf{A}\mathbb{E}\left[\mathbf{X}\right]=\begin{pmatrix}0&0&0\end{pmatrix}×A=0,注意这里实际上是列向量,简写缩略了转置符号T
$$
\[\begin{aligned}C_{Y}&=\mathsf{AC}_\chi\mathsf{A}^\intercal\\&=\begin{pmatrix}\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0\\0&0&1\end{pmatrix}\begin{pmatrix}1&-\frac{1}{\sqrt{2}}&0\\-\frac{1}{\sqrt{2}}&1&0\\0&0&1\end{pmatrix}\begin{pmatrix}\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}&0\\\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}&0\\0&0&1\end{pmatrix}\\&\left.=\left(\begin{array}{ccc}1-\frac{1}{\sqrt{2}}&0&0\\0&1+\frac{1}{\sqrt{2}}&0\\0&0&1\end{array}\right.\right)\end{aligned}
\]
结果表明这里是一个对角矩阵,这是一个不相关分量
“uncorrelated components(分量互不相关)”的意思是:随机向量 Y=(Y1,Y2,Y3)^T的各个分量之间两两协方差为 0。
两个随机变量 U,V不相关 ⟺Cov(U,V)=0⟺它们之间没有线性关系(但可能有非线性关系)。
若联合高斯,则“不相关”等价于“独立”;一般分布下不相关 ≠ 独立,但至少无线性关联。
但是独立一定不相关。
下面例子为经典反例:但显然 Y完全由 X决定(Y=X平方),知道 X就精确知道 Y⇒ 绝不独立
\[\text{取 }X\sim\text{均匀分布在 }[-1,1],Y=X^2\mathrm{。}
\]
\[\mathbb{E}[X]=0\mathrm{,}\mathbb{E}[XY]=\mathbb{E}[X^3]=0\text{(奇函数对称)}
\]
\[\operatorname{Cov}(X,Y)=\mathbb{E}[X^3]-\mathbb{E}[X]\mathbb{E}[X^2]=0-0=0\Rightarrow\text{不相关}
\]
线性变换的 PDF
\[Y=AX
\]
其中 𝐀 是一个 L × L 可逆矩阵,其行列式计算为 |𝐀|。那么 𝐘 的联合概率密度函数由下式给出:
\[\mathrm{f}_Y(y)=\frac{\mathrm{f}_X(\mathbf{A}^{-1}\mathbf{x})}{|\mathbf{A}|}.
\]
联合高斯随机变量的 PDF:
\[\mathrm{f_X}\left(\mathbf{x}\right)=\frac{1}{\left(2\pi\right)^{\frac{1}{2}}\left|\mathbf{C_X}\right|^{\frac{1}{2}}}\exp\left(-\frac{1}{2}\left(\mathbf{x}-\mathbf{m_X}\right)^{\mathrm{T}}\mathbf{C_X^{-1}}\left(\mathbf{x}-\mathbf{m_X}\right)\right)
\]
\[x=\begin{pmatrix}x_1&x_2&...&x_\mathrm{L}\end{pmatrix}^\mathrm{T}
\]
\[\mathfrak{m}_X=\mathbb{E}\left[\mathbf{X}\right]=\begin{pmatrix}\mathbb{E}\left[x_1\right]&\mathbb{E}\left[x_2\right]&...&\mathbb{E}\left[x_\mathrm{L}\right]\end{pmatrix}^\top
\]
\[\mathbf{C}_{X}=\begin{pmatrix}\mathrm{Var}\left(\mathrm{X}_{1}\right)&\mathrm{Cov}\left(\mathrm{X}_{1},\mathrm{X}_{2}\right)&...&\mathrm{Cov}\left(\mathrm{X}_{1},\mathrm{X}_{\mathrm{L}}\right)\\\mathrm{Cov}\left(\mathrm{X}_{2},\mathrm{X}_{1}\right)&\mathrm{Var}\left(\mathrm{X}_{2}\right)&...&\mathrm{Cov}\left(\mathrm{X}_{2},\mathrm{X}_{\mathrm{L}}\right)\\\vdots&\vdots&\ddots&\vdots\\\mathrm{Cov}\left(\mathrm{X}_{\mathrm{L}},\mathrm{X}_{1}\right)&\mathrm{Cov}\left(\mathrm{X}_{\mathrm{L}},\mathrm{X}_{2}\right)&...&\mathrm{Var}\left(\mathrm{X}_{\mathrm{L}}\right)\end{pmatrix}
\]
联合高斯随机变量一个非常重要的性质是:对任意 L 个联合高斯随机变量进行线性变换后,所得的 L 个随机变量同样也是联合高斯的。
\[\text{若 }\mathbf{X}\sim\mathcal{N}(\mathbf{m}_X,\mathbf{C}_X)\text{是 }L\text{维联合高斯,对任意可逆矩阵 }A\text{,令 }\mathbf{Y}=A\mathbf{X}\text{,则 }\mathbf{Y}\text{仍是 }L\text{维联合高斯。}
\]
新参数:
\[\text{均值:}\mathbf{m}_Y=A\mathbf{m}_X\text{(线性推均值:}\mathbb{E}[AX]=A\mathbb{E}[X])
\]
协方差:
\[\mathbf{C}_Y=\mathrm{Cov}(A\mathbf{X})=\mathbb{E}[(A\mathbf{X}-A\mathbf{m}_X)(A\mathbf{X}-A\mathbf{m}_X)^T]=A\operatorname{E}[(\mathbf{X}-\mathbf{m}_X)(\mathbf{X}-\mathbf{m}_X)^T]A^T=A\mathbf{C}_XA^T
\]
\[\text{协方差:}\mathbf{C}_Y=A\mathbf{C}_XA^T
\]
需要注意的是,这意味着多个联合高斯随机变量的和同样服从高斯分布(未必相互独立):
\[\begin{aligned}&\text{取特例:令 }Y=X_1+X_2+\cdots+X_L\text{(一个数)。}\\&\text{这可以写成线性变换:取 }A=\begin{pmatrix}1&1&\cdots&1\end{pmatrix}(1\times L\text{行向量),则 }Y=A\text{X是一维高斯。}\end{aligned}
\]

$$
\left.\mathbf{Y}=\left(\begin{array}{c}\mathbf{Y}_1\\\mathbf{Y}_2\end{array}\right.\right)=\begin{pmatrix}1&0&0\\0&0&1\end{pmatrix}\begin{pmatrix}\mathbf{X}_1\\\mathbf{X}_2\\\mathbf{X}_3\end{pmatrix}
$$
(X1,X3) 的联合概率密度函数同样服从均值为零的高斯分布,其协方差矩阵为 Cy:
$$
\begin{aligned}C_{Y}&\left.=\left(\begin{array}{cc}\mathrm{Var}\left(\mathrm{Y}_1\right)&\mathrm{Cov}\left(\mathrm{Y}_1,\mathrm{Y}_2\right)\\\mathrm{Cov}\left(\mathrm{Y}_2,\mathrm{Y}_1\right)&\mathrm{Var}\left(\mathrm{Y}_2\right)\end{array}\right.\right)\\&\left.=\left(\begin{array}{cc}\mathrm{Var}\left(\mathrm{X}_1\right)&\mathrm{Cov}\left(\mathrm{X}_1,\mathrm{X}_3\right)\\\mathrm{Cov}\left(\mathrm{X}_3,\mathrm{X}_1\right)&\mathrm{Var}\left(\mathrm{X}_3\right)\end{array}\right.\right)=\begin{pmatrix}1&0.3\\0.3&1\end{pmatrix}\end{aligned}
$$
\[\begin{aligned}&\text{对 }\mathbf{Y}\sim\mathcal{N}(\mu,\Sigma)\text{,其中 }\Sigma=\begin{pmatrix}\sigma_1^2&\rho\sigma_1\sigma_2\\\rho\sigma_1\sigma_2&\sigma_2^2\end{pmatrix}{:}\\&f_{\mathbf{Y}}(y_1,y_2)=\frac{1}{2\pi\sqrt{|\Sigma|}}\exp\left(-\frac{1}{2}(\mathbf{y}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{y}-\boldsymbol{\mu})\right)\\&\text{这里 }\mu_1=\mu_2=0\mathrm{,}\sigma_1^2=\sigma_2^2=1\mathrm{,}\rho=0.3\mathrm{。}\end{aligned}
\]
\[|\Sigma|=\det\begin{pmatrix}1&0.3\\0.3&1\end{pmatrix}=1-0.09=0.91
\]
\[{}(\mathbf{y}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{y}-\boldsymbol{\mu})\text{因为均值 }\boldsymbol{\mu}=(0,0)\text{,所以就是 }\mathbf{y}^T\Sigma^{-1}\mathbf{y}\mathrm{。}
\]
\[\text{对 }2\times2\text{矩阵}\begin{pmatrix}a&b\\b&d\end{pmatrix}\text{,逆}=\frac{1}{ad-b^2}\begin{pmatrix}d&-b\\-b&a\end{pmatrix}
\]
\[\Sigma^{-1}=\frac{1}{0.91}\begin{pmatrix}1&-0.3\\-0.3&1\end{pmatrix}
\]
\[\begin{pmatrix}y_1&y_2\end{pmatrix}\frac{1}{0.91}\begin{pmatrix}1&-0.3\\-0.3&1\end{pmatrix}\begin{pmatrix}y_1\\y_2\end{pmatrix}
\]
\[=y_1(y_1-0.3y_2)+y_2(-0.3y_1+y_2)=y_1^2-0.3y_1y_2-0.3y_1y_2+y_2^2=y_1^2-0.6y_1y_2+y_2^2
\]
\[\exp\left(-\frac{1}{2}\cdot\frac{y_1^2-0.6y_1y_2+y_2^2}{0.91}\right)=\exp\left(-\frac{y_1^2-0.6y_1y_2+y_2^2}{1.82}\right)
\]
\[\boxed{f(y_1,y_2)=\frac{1}{2\pi\sqrt{0.91}}\exp\left(-\frac{y_1^2-0.6y_1y_2+y_2^2}{1.82}\right)}
\]
\[\begin{aligned}&\text{设 }\mathbf{Y}=(Y_1,Y_2)^T\sim\mathcal{N}(\boldsymbol{\mu},\Sigma)\text{,其中}:\\&&\mu=\begin{pmatrix}\mu_1\\\mu_2\end{pmatrix},\quad\Sigma=\begin{pmatrix}\sigma_1^2&\rho\sigma_1\sigma_2\\\rho\sigma_1\sigma_2&\sigma_2^2\end{pmatrix}\end{aligned}
\]
\[\begin{aligned} & \mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma}):\\ & \mu\text{ : 均值向量(mean vector),一维时就是普通均值 }\mu\\ & \Sigma:协方差矩阵(covariancematrix)\end{aligned}
\]
\[二维联合高斯分布:f_\mathbf{Y}(\mathbf{y})=\frac{1}{(2\pi)^{n/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(\mathbf{y}-\boldsymbol{\mu})^T\Sigma^{-1}(\mathbf{y}-\boldsymbol{\mu})\right)
\]
复数随机变量
一个复随机变量由 Z = X + jY 定义,其中 X = Re Z 且 Y = Im Z 为实随机变量。复随机变量 Z 的累积分布函数CDF定义为:
\[\mathbb{F}_Z\left(z\right)\triangleq\Pr\left(X\leqslant x,Y\leqslant y\right)=\mathbb{F}_{X,Y}\left(x,y\right).
\]
\[\text{CDF(累积分布函数)}:F_Z(z)\text{ 被定义为 }X\text{ 小于等于 }x\text{ 且}Y\text{ 小于等于 }y\text{ 的联合概率。}
\]
概率密度函数 (PDF):
\[f_Z(z)=f_{X,Y}(x,y)=\frac{\partial^2}{\partial x\partial y}F_{X,Y}(x,y)
\]
如果概率密度函数存在,它是非负函数。
复随机变量的概率密度函数,等同于其实部 X和虚部 Y的联合概率密度函数。公式右边的偏导数部分,是联合CDF求二次偏导得到联合PDF的标准数学定义。
均值mean:
\[Z\text{ 的均值定义为 }\mathbb{E}_Z[Z]=\mathbb{E}[X+jY]
\]
\[\text{根据期望的线性性质,它可以拆分为 }\mathbb{E}_X[X]+j\mathbb{E}_Y[Y],均值也是一个复数
\]
复随机变量 Z 的方差定义为:
\[\begin{aligned}&Var(Z)&&=\mathbb{E}\left[\left|Z-\mathbb{E}\left[Z\right]\right|^2\right]=\mathbb{E}\left[\left|Z\right|^2\right]-\left|\mathbb{E}\left[z\right]\right|^2\\&&&=\mathrm{Var}\left(X\right)+\mathrm{Var}\left(Y\right)\end{aligned}
\]
两个复随机变量 Z1 和 Z2 的协方差定义为:
\[\mathbb{E}\left[\mathbb{Z}_1\mathbb{Z}_2^*\right]=\mathbb{E}\left[\left(\mathbb{Z}_1-\mathbb{E}\left[\mathbb{Z}_1\right]\right)\left(\mathbb{Z}_2-\mathbb{E}\left[\mathbb{Z}_2\right]\right)^*\right]
\]