PCA

PCA 

 

协方差矩阵为对称矩阵，可以找到正交阵 T瞒住 T^-1AT = T  AT=  .协方差举证对角元素代表的是Xi的方差，飞对角元素代表的是Xj，Xi的协方差，正交阵是可以作为N为的基础向量，

这片文章很有启发性

http://blog.csdn.net/cxw1014/article/details/10210831

主成成分分析的目的是推导出新的变量，而这些变量是原来变量的线性组合而且互不相关，几何上，主成成分分析可认为是坐标轴的旋转，将原始的坐标轴旋转成为一组新的正交的坐标轴

选取的方法：

1.理论上的方法：假如取L1为第一主成分，选取L1的标准是，对于所有的数据点来说，到达L1的距离和为最小，第二主成分的选取，L2与L1是正交的，并且在所有点到L1与L2组成平面上的距离和为最小，第三主成分选取，与L1和L2正交，并且与其距离和为最小。

2.

 

看了看stanford 的课程讲义：以及模式识别那本书方面的有了点新的理解：

这样解释下：

x^(i）列向量

u 为单位向量（是任意方向上的单位向量）

x⁽ⁱ⁾到u上的映射是x^(i)T * u 代表的是该向量在u是的投影

如果存在点（也可以理解为向量）x⁽ⁱ⁾ i{1,2,...n} ,选择一个向量u 应该使得x(i)i{1,2,..n} 这些向量在u上的投影方差最大，也就是说能够使得这些向量x能更好的分割出来。

方差最大，就是让后面的公式最大1/m Σ(x^(i)T * u)²  =u^T(1/mΣx⁽ⁱ⁾x^(i)T)u   中间的是Σx⁽ⁱ⁾x^(i)T应该使和协方差矩阵有关，这里需要复习下协方差矩阵和其他矩阵的关系

这里的Σx⁽ⁱ⁾x^(i)T  是对称矩阵，由Σx⁽ⁱ⁾x^(i)T*u=l*u，l为特征值，u为Σx⁽ⁱ⁾x^(i)T的特征向量可得到 u^T(1/mΣx⁽ⁱ⁾x^(i)T)u=l ,如果要使l最大的话，需要取u为最大的特征值对应的特征向量

这样大体能解释为什么要取协方差矩阵的特征向量。

3.好像在哪里看到过这样的解释

协方差矩阵别对角化后，得到的对角线上的值是方差，而其他值为0，但不得是变换后的[i,j]列数据没有相关性（这里还得在查下）