【学习笔记】奇异值分解

奇异值分解 singular value decomposition(svd)

我们现在有矩阵 \(A=USV^T\)，大小为 \(n\times m\)，\(U\) 大小为 \(n\times n\)，\(V\) 大小为 \(m\times m\)，同时 \(U,V\) 满足 \(UU^T,VV^T\) 都是单位矩阵，\(S\) 大小为 \(n\times m\) 且只有主对角线（\(a_{i,i}）\)上有值。

我们的目标是给定 \(A\) 求出来 \(U,S,V^T\)

做法很简单，求 \(A^T A\) 的 \(m\) 个特征向量，concat 起来就是 \(V\)，\(AA^T\) 的 \(n\) 个特征向量，concat 起来就是 \(U\)。S 中 \(a_{i,i}\) 是 \(A^T A\) 的第 \(i\) 个特征值 \(\lambda_i\) 开根号。

理解起来可能费点时间，其实就是一个从信息和结论双向奔赴的过程。中间的额外发现就是可以调整系数使得矩阵的特征向量模长为 \(1\)

• SVD 和 PCA 的联系

  在 PCA 的实现流程中，对于一个零均值化之后的矩阵，我们希望计算 \(AA^T\) 再求特征向量。但是有人嫌弃矩阵乘法太慢了，然后发现 SVD 中的 \(V\) 矩阵就是我们要的特征向量的 concat 结果（其实 U 矩阵可以用于行压缩or数据数量的压缩，V 矩阵可以用于列压缩 or 数据维度的压缩）

  这里有一个讲 power iteration method 求 PCA 中正交基的，做法简单得离谱，证明摆了，因为我太颓废了。

  注意找到一个基之后应该把所有向量减去在这个基上的投影。