高斯判别式

高斯判别分析(Gaussian discriminant analysis, short for GDA)

高斯判别分析的作用用于分类。对于两类样本，其服从伯努利分布，而对每个类中的样本，假定服从高斯分布，则有：

\[y\sim{Bernouli}(\phi) \]

\[x|y=0\sim{N(\mu_0,\Sigma)} \]

\[x|y=1\sim{N(\mu_1,\Sigma)} \]

即：

\[p(y)=\phi^y(1-\phi)^{1-y} \]

\[p(x|y=0)=\frac1{\sqrt{(2\pi)^n|\Sigma|}}\exp(-\frac12(x-\mu_0)^T\Sigma^{-1}(x-\mu_0)) \]

\[p(x|y=1)=\frac1{\sqrt{(2\pi)^n|\Sigma|}}\exp(-\frac12(x-\mu_1)^T\Sigma^{-1}(x-\mu_1)) \]

这样，根据训练样本，估计出先验概率以及高斯分布的均值和协方差，即可通过如下贝叶斯公式求出一个新样本分别属于两类的概率，进而可实现对该样本分类。

\[p(y|x)=\frac{p(x|y)p(y)}{p(x)} \]

\[y=\mathop{\arg\max}_yp(y|x)=\mathop{\arg\max}_y\frac{p(x|y)p(y)}{p(x)}=\mathop{\arg\max}_yp(x|y)p(y) \]

\[\begin{split} l(\phi,\mu_0,\mu_1,\Sigma)&=\log\prod^m_{i=1}p(x^{(i)},y^{(i)}) \\ &=\log\prod^m_{i=1}p(x^{(i)}|y^{(i)})(y^{(i)}) \\ &=\sum\limits^m_{i=1}{\log}\;p(x^{(i)}|y^{(i)})+\sum\limits_{i=1}^m{\log}\;p(y^{(i)}) \\ &=\sum\limits^m_{i=1}{\log}\;(p(x^{(i)}|y^{(i)}=0)^{1-y^{(i)}}*p(x^{(i)}|y{(i)=1})^{y{(i)}})+\sum\limits_{i=1}^m\log\;p(y^{(i)}) \\ &=\sum\limits^m_{i=1}(1-y^{(i)})\log\;p(x^{(i)}|y^{(i)}=0)+\sum\limits^m_{i=1}y^{(i)}\log\;p(x^{(i)}|y^{(i)}=1)+\sum\limits_{i=1}^m\log\;p(y^{(i)}) \end{split} \]

接下来先求 \(\phi\) 的偏导数

\[\begin{split} \frac{\partial\;l(\phi,\mu_0,\mu_1,\Sigma)}{\partial\;\phi}&=\frac{\partial\sum\limits_{i=1}^m\log\;p(y^{(i)})}{\partial\;\phi} \\ &=\frac{\partial\sum\limits_{i=1}^m\log\;\phi^{y^{(i)}}(1-\phi)^{1-y^{(i)}}}{\partial\;\phi} \\ &=\frac{\sum\limits^m_{i=1}y^{(i)}\log\phi+(1-y^{(i)})\log(1-\phi)}{\partial\phi} \\ &=\sum\limits^m_{i=1}\frac{y^{(i)}}{\phi}-\frac{1-y^{(i)}}{1-\phi} \\ &=\sum\limits^m_{i=1}I(y^{(i)}=1)\frac1\phi-I(y^{(i)}=0)\frac1{1-\phi} \\\ &=0 \end{split} \]

所以可得

\[\phi=\frac{\sum\limits^m_{i=1}I(y^{(i)}=1)}{\sum\limits^m_{i=1}I(y^{(i)}=0)+I(y^{(i)}=1)}=\sum\limits_{i=1}^{m}\frac{I(y^{(i)}=1)}{m} \]

已知

\[\partial{x^TAx}=2Ax \]

对\(\mu_0\) 求偏导数，可得

\[\begin{split} \frac{\partial\;l(\phi,\mu_0,\mu_1,\Sigma)}{\partial\;\mu_0}&=\frac{\partial\;\sum\limits^m_{i=1}(1-y^{(i)})\log\;p(x^{(i)}|y^{(i)}=0)}{\partial\;\mu_0} \\ &= \frac{\partial\sum\limits^m_{i=1}(1-y^{(i)})(\log\frac{1}{\sqrt{(2\pi)^n|\Sigma|}}-\frac12(x^{(i)}-\mu_0)^T\Sigma^{-1}(x^{(i)}-\mu_0))}{\partial\;\mu_0} \\ &= \sum\limits^m_{i=1}(1-y^{(i)})\Sigma^{-1}(x^{(i)}-\mu_0) \\ &= \sum\limits^m_{i=1}I(y^{(i)}=0)\Sigma^{-1}(x^{(i)}-\mu_0)=0 \end{split} \]

则

\[\sum^m_{i=1}I(y^{(i)}=0)(x^{(i)}-\mu_0)=0 \]

\[\sum\limits^m_{i=1}I(y^{(i)}=0)x^{(i)}=\sum\limits^m_{i=1}I(y^{(i)}=0)\mu_0 \]

\[\mu_0=\frac{\sum\limits^m_{i=1}I(y^{(i)}=0)x^{(i)}}{\sum\limits^m_{i=1}I(y^{(i)}=0)} \]

由对称性可得

\[\mu_1=\frac{\sum\limits^m_{i=1}I(y^{(i)}=1)x^{(i)}}{\sum\limits^m_{i=1}I(y^{(i)}=1)} \]

下面对\(\Sigma\) 求偏导数

\[\begin{split} l(\phi,\mu_0,\mu_1,\Sigma)&=\sum\limits^m_{i=1}(1-y^{(i)})\log\;p(x^{(i)}|y^{(i)}=0)+\sum\limits^m_{i=1}y^{(i)}\log\;p(x^{(i)}|y^{(i)}=1)\\&=\sum\limits^m_{i=1}(1-y^{(i)})(\log\frac{1}{\sqrt{(2\pi)^n|\Sigma|}}-\frac12(x^{(i)}-\mu_0)^T\Sigma^{-1}(x^{(i)}-\mu_0))\\&+\sum\limits^m_{i=1}y^{(i)}(\log\frac{1}{\sqrt{(2\pi)^n|\Sigma|}}-\frac12(x^{(i)}-\mu_1)^T\Sigma^{-1}(x^{(i)}-\mu_1)) \\ &=\sum\limits^m_{i=1}\log\frac{1}{\sqrt{(2\pi)^n|\Sigma|}}-\frac12(x^{(i)}-\mu_{y^{(i)}})^T\Sigma^{-1}(x^{(i)}-\mu_{y^{(i)}}) \\ &= \sum\limits^m_{i=1}-\frac{n}{2}\log(2\pi)-\frac12\log(|\Sigma|)-\frac12\sum^m_{i=1}(x^{(i)}-\mu_{y^{(i)}})^T\Sigma^{-1}(x^{(i)}-\mu_{y^{(i)}}) \end{split} \]

已知\(\frac{\partial\;|\Sigma|}{\partial\;\Sigma}=|\Sigma|\Sigma^{-1}\), \(\frac{\partial\;\Sigma^{-1}}{\partial\;\Sigma}=-\Sigma^{-2}\), \(\frac{\partial\;x^TAx}{\partial\;A}=xx^T\);

\[\begin{split} \frac{\partial\;l(\phi,\mu_0,\mu_1,\Sigma)}{\partial\;\Sigma} &=-\frac12\sum\limits^m_{i=1}\frac1{|\Sigma|}|\Sigma|\Sigma^{-1}-\frac12\sum^m_{i=1}(x^{(i)}-\mu_{y^{(i)}})(x^{(i)}-\mu_{y^{(i)}})^T\frac{\partial\;\Sigma^{-1}}{\partial\;\Sigma} \\ &= -\frac{m}2\Sigma^{-1}-\frac12\sum\limits^m_{i=1}(x^{(i)}-\mu_{y^{(i)}})(x^{(i)}-\mu_{y^{(i)}})^T\Sigma^{-2}=0 \end{split} \]

\[m\Sigma^{-1}=\sum^m_{i=1}(x^{(i)}-\mu_{y^{(i)}})(x^{(i)}-\mu_{y^{(i)}})^T\Sigma^{-2} \]

\[\Sigma=\frac1m\sum\limits^m_{i=1}(x^{(i)}-\mu_{y^{(i)}})(x^{(i)}-\mu_{y^{(i)}})^T \]