GMM基础

原文地址：https://www.jianshu.com/p/5f7365209b05

一、单成分单变量高斯模型

二、单成分多变量高斯模型

若协方差矩阵为对角矩阵且对角线上值相等，两变量高斯分布的等值线为圆形。

若协方差矩阵为对角矩阵且对角线上值不等，两变量高斯分布的等值线为椭圆形。长轴平行于取较大值的变量所在的轴，短轴平行于取较小值的变量所在的轴。

若协方差矩阵为非对角矩阵，表明变量之间存在相关性，相关系数取-1到1之间的非０值。

上图中两变量高斯分布的等值线长轴平行于\(x_1=-0.5x_2\)这条直线。

三、多成分多变量高斯混合模型

基于先验概率\(P(m)\)选择成分后，基于\(P(X|m)\)生成数据。

为减少参数数目，常假设协方差矩阵为对角矩阵且对角线取值相等。

如果哪个成分生成哪个数据的对应关系已知，即强制对齐，这时使用MLE进行参数估计

通常情况下，这种生成数据的对应关系是未知的，即存在隐变量，这时使用EM替代MLE进行参数估计。

E步其实计算的是\(P(m|X)\)，即软分配。
强制对齐下，将\(X\)分配给其中的一个成分；
软分配下，将\(X\)以一定的概率值分配给每个成分。

用GMM对数据进行拟合比用单个Gaussian拟合数据更加准确。