Non-negative Matrix Factorization 非负矩阵分解

      著名的科学杂志《Nature》于1999年刊登了两位科学家D.D.Lee和H.S.Seung对数学中非负矩阵研究的突出成果。该文提出了一种新的矩阵分解思想――非负矩阵分解(Non-negative Matrix Factorization，NMF)算法，即NMF是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。该论文的发表迅速引起了各个领域中的科学研究人员的重视：一方面，科学研究中的很多大规模数据的分析方法需要通过矩阵形式进行有效处理，而NMF思想则为人类处理大规模数据提供了一种新的途径；另一方面，NMF分解算法相较于传统的一些算法而言，具有实现上的简便性、分解形式和分解结果上的可解释性，以及占用存储空间少等诸多优点。
　　信息时代使得人类面临分析或处理各种大规模数据信息的要求，如卫星传回的大量图像、机器人接受到的实时视频流、数据库中的大规模文本、Web上的海量信息等。处理这类信息时，矩阵是人们最常用的数学表达方式，比如一幅图像就恰好与一个矩阵对应，矩阵中的每个位置存放着图像中一个像素的空间位置和色彩信息。由于实际问题中这样的矩阵很庞大，其中存放的信息分布往往不均匀，因此直接处理这样的矩阵效率低下，这对很多实际问题而言就失去了实用意义。为高效处理这些通过矩阵存放的数据，一个关键的必要步骤便是对矩阵进行分解操作。通过矩阵分解，一方面将描述问题的矩阵的维数进行削减，另一方面也可以对大量的数据进行压缩和概括。

　　在科学文献中，讨论利用矩阵分解来解决实际问题的分析方法很多，如PCA(主成分分析)、ICA(独立成分分析)、SVD(奇异值分解)、VQ(矢量量化)等。在所有这些方法中，原始的大矩阵V被近似分解为低秩的V=WH形式。这些方法的共同特点是，因子W和H中的元素可为正或负，即使输入的初始矩阵元素是全正的，传统的秩削减算法也不能保证原始数据的非负性。在数学上，从计算的观点看，分解结果中存在负值是正确的，但负值元素在实际问题中往往是没有意义的。例如图像数据中不可能有负值的像素点；在文档统计中，负值也是无法解释的。因此，探索矩阵的非负分解方法一直是很有意义的研究问题，正是如此，Lee和Seung两位科学家的NMF方法才得到人们的如此关注。
　　NMF是一种新的矩阵分解算法，它克服了传统矩阵分解的很多问题，通过寻找上下文有意义的解决方法，提供解释数据的更深看法。NMF通过寻找低秩，非负分解那些都为非负值的矩阵。这在现实的应用中有很多例子，如数字图像中的像素一般为非负数，文本分析中的单词统计也总是非负数，股票价格也总是正数等等。NMF的基本思想可以简单描述为：对于任意给定的一个非负矩阵A，NMF算法能够寻找到一个非负矩阵U和一个非负矩阵V，使得满足，从而将一个非负的矩阵分解为左右两个非负矩阵的乘积。由于分解前后的矩阵中仅包含非负的元素，因此，原矩阵A中的一列向量可以解释为对左矩阵U中所有列向量(称为基向量)的加权和，而权重系数为右矩阵V中对应列向量中的元素。这种基于基向量组合的表示形式具有很直观的语义解释，它反映了人类思维中“局部构成整体”的概念。研究指出，非负矩阵分解是个NP问题，可以划为优化问题用迭代方法交替求解U和V。NMF算法提供了基于简单迭代的求解U，V的方法，求解方法具有收敛速度快、左右非负矩阵存储空间小的特点，它能将高维的数据矩阵降维处理，适合处理大规模数据。利用NMF进行文本、图像大规模数据的分析方法，较传统的处理算法速度更快、更便捷。NMF思想的提出迅速得到了很多人的重视，并有很多将这种思想应用到实际中成功解决具体实际问题的例子。
　　

　　这里是分解的公式：

　　这里r是分解矩阵的秩，V是原矩阵的一个近似，W与H就是分解而成的两个矩阵。

　　下面是W和H的求法，是一个迭代算法，初始的W与H是随机的就行了：

　　

非负矩阵的具体算法如下：

　　输入参数：Ｘ，Ｒ，MAXITER，其中Ｘ为被分解的矩阵，Ｒ为降阶后Ｂ的秩，ＭＡＸＩＴＥＲ为迭代次数

　　输出参数：Ｂ，Ｈ

　　１）：初始化矩阵Ｂ，Ｈ为非负数，同时对Ｂ的每一列数据归一化

 　　２）：for i=1:MAXITER

  　　　　　ａ：更新Ｈ矩阵一行元素：H(i,j)=H(i,j)*(B'*X)(i,j)/(B'*B*H)(i,j)

　　　　　　ｂ：更新B的一列元素：B(k,j)=B(k,j)*(X*H')(k,j)/(B*H*H')(k,j);

                     c:重新对B进行列归一化

       3）end

下面是代码：

clear all;
close all;
clc;

V=double(imread('lena.jpg'));
imshow(mat2gray(V));

[i u]=size(V);                                    %计算V的规格
r=100;                                  %设置分解矩阵的秩
W=rand(i,r);                            %初始化WH，为非负数
H=rand(r,u);
maviter=100;                                    %最大迭代次数
for iter=1:maviter
    W=W.*((V./(W*H))*H');           %注意这里的三个公式和文中的是对应的
    W=W./(ones(i,1)*sum(W));    
    H=H.*(W'*(V./(W*H)));
end

img_V=W*H;
figure;
imshow(mat2gray(img_V));

下面是原图和重构后的效果，如果秩和迭代次数越大，那么重构后的图越接近原图：

原图

重构图

这个算法是Lee和Seung在1999年发表在nature杂志上的。具体论文看这里：http://www.cs.rutgers.edu/~mlittman/topics/dimred02/seung-nonneg-matrix.pdf

看不懂英文没关系，可以看这个中文的介绍：http://wenku.baidu.com/view/94c8af0bf78a6529647d5331.html。

文章结合自：http://fxy1211.blog.163.com/blog/static/68255322007826111015905/ 和 http://www.cnblogs.com/tiandsp/archive/2012/11/13/2768597.html