# bingjianing

## 多元高斯分布（The Multivariate normal distribution）

1， 标准高斯函数

$f(x) = \frac{1}{\sqrt{2π}}e^{-\frac{x^2}{2}}$

Ⅰ， 均值 = 0

Ⅱ， 方差为1

Ⅲ， 概率密度和为1

2， 一元高斯函数一般形式

$f(x) = \frac{1}{\sqrt{2π}σ}e^{-\frac{(x-μ)^2}{2σ^{2}}}$

$z = \frac{x - μ}{σ}$

Ⅰ， 将 x 向右移动 μ 个单位

Ⅱ， 将密度函数伸展 σ 倍

$f(x) = \frac{1}{\sqrt{2π}}e^{-\frac{x^2}{2×2^{2}}}$

A(x = 1) -> D(x = 2)

E(x = 1.5) -> F(x = 3)

G(x = 2) -> H(x = 4)

3, 独立多元正态分布

$f(x) = p(x_{1},x_{2}....x_{n}) = p(x_{1})p(x_{2})....p(x_{n}) = \frac{1}{(\sqrt{2π})^nσ_{1}σ_{2}\cdotsσ_{n}}e^{-\frac{(x_{1}-μ_{1})^2}{2σ_{1}^2}-\frac{(x_{2}-μ_{2})^2}{2σ_{2}^2}\cdots-\frac{(x_{n}-μ_{n})^2}{2σ_{n}^2}}$

$f(z) = \frac{1}{(\sqrt{2π})^nσ_{z}}e^{-\frac{z^2}{2}}$

$z^2 = z^\mathrm{T}z = \left[ \begin{matrix} x_{1} - μ_{1}, x_{2} - μ_{2}, \cdots,x_{n} - μ_{n}\end{matrix}\right] \left[ \begin{matrix} \frac{1}{σ_{1}^2}&0&\cdots&0\\ 0&\frac{1}{σ_{2}^2}&\cdots&0\\ \vdots&\cdots&\cdots&\vdots\\ 0&0&\cdots&\frac{1}{σ_{n}^2} \end{matrix}\right]\left[ \begin{matrix} x_{1} - μ_{1}, x_{2} - μ_{2}, \cdots,x_{n} - μ_{n}\end{matrix}\right]^\mathrm{T}$

$x - μ_{x} = \left[ \begin{matrix} x_{1} - μ_{1}, x_{2} - μ_{2}, \cdots,x_{n} - μ_{n}\end{matrix}\right]^\mathrm{T}$

$∑_{}^{} = \left[ \begin{matrix} σ_{1}^2&0&\cdots&0\\ 0&σ_{2}^2&\cdots&0\\ \vdots&\cdots&\cdots&\vdots\\ 0&0&\cdots&σ_{n}^2 \end{matrix}\right]$

$∑_{}^{}$代表变量 X 的协方差矩阵， i行j列的元素值表示$x_{i}$与$x_{j}$的协方差

$∑_{}^{}$是一个对角阵，根据对角矩阵的性质，它的逆矩阵：

$( (∑_{}^{})^{-1} = \left[ \begin{matrix} \frac{1}{σ_{1}^2}&0&\cdots&0\\ 0&\frac{1}{σ_{2}^2}&\cdots&0\\ \vdots&\cdots&\cdots&\vdots\\ 0&0&\cdots&\frac{1}{σ_{n}^2} \end{matrix}\right]$

$σ_{z}= \left|∑_{}^{}\right|^\frac{1}{2} =σ_{1}σ_{2}.....σ_{n}$

$z^\mathrm{T}z = (x - μ_{x})^\mathrm{T} \sum_{}{}^{-1} (x - μ_{x})$

$f(z) = \frac{1}{(\sqrt{2π})^nσ_{z}}e^{-\frac{z^2}{2}} = \frac{1}{(\sqrt{2π})^{n}\left|∑_{}^{}\right|^\frac{1}{2}}e^{-\frac{ (x\ -\ μ_{x})^\mathrm{T}\ (\sum_{}{})^{-1}\ (x\ -\ μ_{x})}{2}}$

4, 相关多元正态分布

$\left[\begin{matrix}x_{1}'\\ x_{2}'\end{matrix}\right] = \left[ \begin{matrix} u_{x1}^{0}, u_{x1}^{1}\\ u_{x2}^{0}, u_{x2}^{1} \end{matrix} \right]\left[ \begin{matrix} x_{1}\\ x_{2} \end{matrix} \right]$

$U = \left[ \begin{matrix} u_{x1}^{0}, u_{x2}^{0}\\ u_{x1}^{1}, u_{x2}^{1} \end{matrix} \right]$

U的列空间由新坐标向量组成，坐标映射之后：

$X’ = U^{T}X$

$f(z) = \frac{1}{(\sqrt{2π})^nσ_{z}}e^{-\frac{z^2}{2}} = \frac{1}{(\sqrt{2π})^{n}\left|∑_{}^{}\right|^\frac{1}{2}}e^{-\frac{ (x\ -\ μ_{x})^\mathrm{T}\ (\sum_{}{})^{-1}\ (x\ -\ μ_{x})}{2}}$

$x->x'$, 这个很容易，$μ_{x} -> μ(x')$这个也不难， 但是这里还有一个 $∑_{}^{}$是未知的！ 按照定义，这里的$∑_{}^{}$应该是X’的协方差，我们已知X，已知映射矩阵，如何求解X’的协方差？

$μ_{x'} = E[U^TX] = U^TE[x] = U^Tμ_{x}$ $\tag{$1$}$

\begin{align*} σ(X') &= E[(X' - μ_{X'})(X' - μ_{X'})^T]\\ &=E[ (X' - μ_{X'}) (X'^T - μ_{X'}^T) ]\\ &=E[X'X'^T - μ_{X'}X'^T - X'μ_{X'}^T + μ_{X'}μ_{X'}^T]\\ &=E[U^TXX^TU-E[U^TX]X^TU - U^TXE[U^TX]^T + E[U^TX]E[U^TX]^T]\\ &=U^TE[XX^T - E(X)X^T - XE[X]^T + E[X]E[X]^T]U\\ &=U^Tσ(X)U\\ \end{align*}

$(\sum_{}^{})_{x'} = U^{T}(\sum_{}^{})_{x}U$ $\tag{$2$}$

$(\sum_{}^{})_{x'} = U^{-1}(\sum_{}^{})_{x}U$

$|(\sum_{}^{})_{x'}| = |(\sum_{}^{})_{x}|$  $\tag{$3$}$

$(\sum_{}^{})_{x'}^{-1} = (U^T(\sum_{}^{})_{x}U)^{-1} = (U^{-1}(\sum_{}^{})_{x}U)^{-1}=U^{-1}(\sum_{}^{})_{x}^{-1}U = U^{T}(\sum_{}^{})_{x}^{-1}U$ $\tag{$4$}$

\begin{align*} f(z) &= \frac{1}{(\sqrt{2π})^nσ_{z}}e^{-\frac{z^2}{2}} \\ &= \frac{1}{(\sqrt{2π})^{n}\left|(∑_{}^{})'_{x}\right|^\frac{1}{2}}e^{-\frac{ (x'\ -\ μ_{x'})^\mathrm{T}\ (\sum_{}{})_{x'}^{-1}\ (x'\ -\ μ_{x'})}{2}}\\ &=\frac{1}{(\sqrt{2π})^{n}\left|(∑_{}^{})_{x}\right|^\frac{1}{2}}e^{-\frac{ (U^Tx\ -\ U^Tμ_{x})^\mathrm{T}\ U^T (\sum_{}{})_{x}^{-1}\ U (U^Tx\ -\ U^Tμ_{x})}{2}}\\ &=\frac{1}{(\sqrt{2π})^{n}\left|(∑_{}^{})_{x}\right|^\frac{1}{2}}e^{-\frac{ (x\ -\ μ_{x})^\mathrm{T}\ (\sum_{}{})_{x}^{-1}\ (x\ -\ μ_{x})}{2}} \end{align*}

总结一下我们做了什么。

Ⅰ， 我们先定义了新的坐标系，通过矩阵 $U^{T}$ 将元素映射到新的坐标系，目的是去相关性

Ⅱ， 在新的坐标下，我们定义了新的期望、协方差、协方差的逆，他们都可以通过 $U$ 与 $U^T$计算出来，当然我们不用计算

Ⅲ,   套用标准公式，将新的期望、协方差的逆、协方差的行列式代入，发现最后的结果与$U$、$U^T$无关

5, 实例分析

$\sum_{}^{} = \left[ \begin{matrix} 1&0.8\\ 0.8&1 \end{matrix} \right]$

$U = \left[ \begin{matrix} cosθ&-sinθ\\ sinθ&cosθ \end{matrix}\right]$

U的列空间组成了新坐标的坐标系

$U^T = \left[ \begin{matrix} cosθ&sinθ\\ -sinθ&cosθ \end{matrix}\right]$

$(\sum_{}^{})_{new} = U^T \sum{} U = \left[ \begin{matrix} cosθ&sinθ\\ -sinθ&cosθ \end{matrix}\right] \left[ \begin{matrix} 1&0.8\\ 0.8&1 \end{matrix} \right] \left[ \begin{matrix} cosθ&-sinθ\\ sinθ&cosθ \end{matrix}\right] = \left[ \begin{matrix} σ_{1}^2&0\\ 0&σ_{2}^2 \end{matrix} \right]$

$(\sum_{}^{})_{new} = \left[ \begin{matrix} 1.8&0\\ 0&0.2 \end{matrix} \right]$

$\sum_{}^{} = \left[ \begin{matrix} 1&-0.5\\ -0.5&1 \end{matrix} \right]\qquad\qquad\qquad\qquad\sum_{}^{} = \left[ \begin{matrix} 1&-0.8\\ -0.8&1 \end{matrix} \right]\qquad\qquad\qquad\qquad\sum_{}^{} = \left[ \begin{matrix} 3&0.8\\ 0.8&1 \end{matrix} \right]$

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------

路漫漫其修远兮，吾将上下而求索

posted on 2018-06-01 16:45  bingjianing  阅读(123886)  评论(8编辑  收藏  举报