3 基于非负矩阵分解的聚类

      非负矩阵分解是一种将非负矩阵分解成两个非负子矩阵的方法。非负矩阵分解不仅能够降低数据的维度，还能保持分解后数据的非负性。也常用于对数据的聚类，这是因为非负矩阵分解的目标公式可以从聚类的角度进行解释。非负矩阵分解被证明与许多聚类算法如k-均值算法 和 核k-均值算法 以及谱聚类算法等价。

非负矩阵分解方法：

     假设有一个非负矩阵X E R(d*n) 采用基本非负矩阵分解的方法对X分解，可以表示为 X = AB(t) 其中 A E R(d*n) B E (n * k) 是分解后得到的非负子矩阵，k通常远小于n和d 。

　 从降维的角度考虑，A可以理解为降维后的特征与原始数据的特征之间的权值矩阵。B可以理解为降维后数据。

　 从聚类的角度考虑，A可以理解为所有簇中质心构成的矩阵，B可以理解为数据的簇划分。

　 常用的优化方法  乘法更新规则   梯度下降法  交替最小平方方法  映射梯度方法 牛顿法 

 

非负矩阵的扩展

1  semi-NMF

　　它要求分解中一个子矩阵中既有负值又有正值，而另外一个子矩阵全为正值。   X = A B(+)

　　半非负矩阵分解可以被看作是一种k-均值算法的软聚类情况，即A可以看作是k-均值算法中的质心集合，B可以看作k-均值算法中的簇划分集合。

　　通常优化方法 采用最小化代价函数，最常用的代价函数是误差平方和。

2 convex -NMF

　　凸非负矩阵分解方法为了使代表质心集合的子矩阵A更具又质心的概念，采用对数据进行线性组合的方式来约束子矩阵A    X = XWB    

       即A = XW 即A的每一列被看作是n个数据点的加权和，这样使A更具有质心的概念。因为这样的加权和是对数据的凸线性组合，因此这种方法被称为凸非负矩阵分解方法。凸非负矩阵分解方法的一个优势是W和B更具有稀疏性。这种稀疏性使表示簇划分的集合的子矩阵B中呈现的数据簇标签更加直观。

3 kernel -NMF

　　在凸非负矩阵分解的基础上，会有利于子矩阵的求解，因为当代价函数为误差平方和时 可用核函数解决。

　　o(X) = O (X)WB  核非负矩阵分解方法可以有效的提取数据中隐藏的非线性结构。

4 projective- NMF

　　在非负矩阵分解的基础上，从投影的角度上重建。投影非负矩阵分解方法试图找到一个投影矩阵，把原始数据矩阵映射到一个低微空间，来实现降维过程。由于投影非负矩阵分解方法中只有一个变量，即投影矩阵，不存在非凸优化的问题，计算复杂度相对于基本非负矩阵分解也有一定的降低。

　　X= FF（x) X  思想与子空间聚类相似。

5 ONMF

　　正交非负矩阵分解方法（ONMF）是在基本非负矩阵分解方法的基础上对子矩阵进行正交约束，一般是将正交约束添加到代表簇划分的子矩阵B上，使簇划分有原来的软聚类变为硬聚类。B(t)B = 1

　　在非负条件下，正交约束会使簇划分子矩阵更加稀疏，这有助于获得解的唯一形势。

6  regularized NMF

　　在非负矩阵分解方法的基础上，加入惩罚项以满足特定的条件。      ||X-AB||f2  +aM(A)+bN(b)

       通常加入的有 平滑约束，稀疏约束，几何约束，最近邻约的局部信息约束。

其他常见的NMF 扩展   CNMF SNMF symmetric NMF NMTF