PCA SVD 区别

 

 

http://cos.name/cn/topic/107134/

 

近期看到这方面的内容，发现两者之间的区别：
PCA对原数据的协方差矩阵（中心化后转置相乘）进行特征值分解，得到一组基底组成的矩阵。然后原数据与之相乘得到在这组新基底下的投影数据，进行后续处理。。。
对协方差矩阵的分解，直观上理解为两个目的：降低相关性、保留方差大的样本数据。

但是SVD直接分解的是原数据。虽然形式上与PCA相似（并且同时得到两个方向的PCA），但是不像PCA有那么直观的意义。仅是从矩阵运算的形式上降维了原数据。

区别在于SVD得到的U阵和V阵是原数据转置相乘后的特征向量组，而PCA却是对其协方差矩阵特值分解。

那么是不是说，SVD分解后的U、V阵靠前的分量可以直接使用？而不必像PCA的需要投影？
刘版那个“禁军教头林书豪”的例子中，就是直接使用的U阵前两个分量。

 

 

Thanks for both reply. 
“PCA focus more on covariance matrix while SVD focus more on the data itself.” It was my confusion between PCA and SVD before.

“From a matrix viewpoint, SVD are best low rank matrix approximation in Frobenius norm, as well as as the low dimensional hyperplane approximation to the data cloud”.

Thus to some degree UD(first k columns) are equivalent XP(X is the data itself, P is the eigen decomposition result of covariance matrix. Also take the first k columns) in the respect of application…