PCA（Principal components analysis）降维主成分分析（Principal components analysis）与SVD简介

主成分分析

PCA：PCA的数学定义是：一个正交化线性变换，把数据变换到一个新的坐标系统中，使得这一数据的任何投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。
PCA求解步骤：

奇异值分解
SVD分解：
假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。如此则存在一个分解使得
求解步骤：

所以PCA是SVD分解的一种特例，只有右奇异值分解是。
左奇异值分解的话可以用于行数的压缩。

SVD分解求最小二乘问题：
min ||Ax||²
s.t ||x||²=1

A=UΣV
= (Ax)*AX
||Ax||² = xAAx
对AA 可以写成(UΣV)UΣV = VΣUUΣV = VΣΣV

只需要对A进行奇异值分解就可以求得ΣΣ 和 U 和 V 便可以用其最小的奇异值所对应的特征向量，归一化之后，当做最小二乘解