主成分分析法的应用

我们通过PCA把二维数据降到一维。

那么怎么把一维数据变回二维

通过X=UZ

我们得到的点都在z轴上

这个X十分解决x了

 

如何去选择k值

PCA的成本函数：

总变差（这些x长度的平方均值）:

意味这我的平均向量离0向量有多远

 

我们选择k使下面的公式成立：

使得99%差异性得到保留

除了0.01，人们也用0.1，0.05

 

总过程：

优化辨别式：

 

一些PCA的建议：

不好的使用：来避免过拟合

错误观点：有人认为把特征变量的维数降下来会使数据更容易

拟合，但这是错误的。

过拟合还是需要正则项来解决：

 

一开始不要一下就把PCA算法加入你的学习算法，

要先用原始数据进行测试。如果占用内存，运算时间，

等不理想，才来用PCA压缩数据。