高斯混合模型以及EM算法
高斯混合模型
高斯混合模型（GMM），顾名思义，就是数据可以看作是从数个高斯分布中生成出来的。虽然我们可以用不同的分布来随意地构造 XX Mixture Model ，但是 GMM是 最为流行。另外，Mixture Model 本身其实也是可以变得任意复杂的，通过增加 Model 的个数，我们可以任意地逼近任何连续的概率密分布。
每个 GMM 由 K 个 Gaussian 分布组成，每个 Gaussian 称为一个“Component”，这些 Component 线性加成在一起就组成了 GMM 的概率密度函数：
$$ p(x) = \sum\limits_{k = 1}^K p(k)p(x|k) = \sum\limits_{k = 1}^K \pi _k\mathcal{N}(x|\mu_k,\Sigma_k)\tag {1} $$
假设现在有\N\数据点，我们认为这些数据点由某个GMM模型产生，现在我们要需要确定 这些参数。很自然的，我们想到利用最大似然估计来确定这些参数，GMM的似然函数如下：
$$ \log \prod \limits_{i = 1}^Np(x_i) = \sum\limits_{i = 1}^N \log p(x_i)=\sum\limits_{i = 1}^N\log\sum\limits_{k = 1}^K \pi _k\mathcal{N}(x_i|\mu_k, \Sigma_k)\tag{2} $$
参考文章：
