奇异值分解SVD--简单理论

一，线性变换

我们用简单的(2 x 2)矩阵说明，对一线性变换M:

M是对角矩阵，点(x,y)通过线性变换后转化为：

上述变换过程几何上可呈现为：

可以看出平面水平方向拉伸为原来的三倍，竖直方向未变。

对于另一线性变换M：

M是对称矩阵，点(x,y)通过线性变换后转化为：

上面这个转换直观上并不容易能看出来，我们可以旋转45度：

可以看出当旋转坐标后，对应坐标沿某一方向拉伸了三倍。

事实上，对于任意的一个对称矩阵M(非奇异的)，线性变换都能像上面一样，先旋转坐标，然后沿某个方向拉伸或收缩坐标。

对一对称矩阵M, 我们求其特征向量和特征值：Mv_i = λ_iv_i ，从几何学的角度看，v_i乘以M, 就相当于对v_i作λ_i 倍的伸缩。(对称矩阵不同特征值的特征向量正交)

上面的例子比较简单，从某一个方向伸缩坐标，下面我们看一下非对称矩阵

点(x,y)通过线性变换后转化为：

变换后，我们很容易找到一组特征向量来表示向量空间，但此组不相互正交，然后我们仍通过旋转坐标

所以对于一正交基，我们可以通过一般的矩阵(线性变换)，转换为另一个正交基。

---

二，奇异值分解The singular value decomposition

在二维空间中，我们选两个正交的单位向量，v₁ 和 v₂, 如下图，向量Mv₁ and  Mv₂也是正交向量

　　

我们用单位向量u₁ 和 u₂ 表示Mv₁ 和Mv₂的方向；其长度用σ₁ 和 σ₂表示，(σ₁ 和 σ₂即为M的奇异值)，我们得到：

Mv₁ = σ₁u₁

Mv₂ = σ₂u₂

由于v₁ 和 v₂是单位正交向量，则对于任意向量x可表示为

x = (v₁ · x) v₁ + (v₂ · x) v_{2 ,} 其中v· x = v^Tx，则：

Mx = (v₁ · x) Mv₁ + (v₂ · x) Mv₂

Mx = (v₁ · x) σ₁u₁ +  (v₂ · x) σ₂u₂

进一步得：

Mx =  u₁σ₁ v₁^Tx +  u₂σ₂ v₂^Tx

M = u₁σ₁ v₁^T +  u₂σ₂ v₂^T

用 U 表示列向量u₁ 和 u₂ 组成的矩阵，V 表示列向量v₁ 和 v₂组成的矩阵，Σ 表示 σ₁ and σ₂组成的对角矩阵，

可得：M = UΣV^T

This shows how to decompose the matrix M into the product of three matrices:  V describes an orthonormal basis in the domain,  and U describes an orthonormal basis in the co-domain, and Σ describes how much the vectors in V are stretched to give the vectors in U.（2012-12-31 22:24）

---

奇异值分解的神奇之处在于可以找到任意矩阵的奇异值分解，How do we do it? 

继续用上面的例子说明，我们在domain中标示单位向量的单位圆，经过线性变换Mx后的co-domain中对应的标示图为椭圆，

椭圆的major and minor axes对应于椭圆中最长和最短的两个向量，分别由Mv₁ 和Mv₂定义。

In other words, the function |Mx| on the unit circle has a maximum at v₁ and a minimum at v₂.  This reduces the problem to a rather standard calculus problem in which we wish to optimize a function over the unit circle.  It turns out that the critical points of this function occur at the eigenvectors of the matrix M^TM.由M^TM为对称矩阵，不同特征值对应的特征向量正交，可得到一组正交向量组v_i 进而得到对应的奇异值σ_i = |Mv_i| 及向量 u_i (Mv_i方向上的单位向量)

In practice, this is not the procedure used to find the singular value decomposition of a matrix since it is not particularly efficient or well-behaved numerically.

本文主要来自：http://www.ams.org/samplings/feature-column/fcarc-svd