数学基础-PCA

方差： 度量一组数据的分散程度

 

协方差： 度量两组数据的相关性。当协方差为0时，表示两个字段完全独立

 

矩阵相乘：两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去

 

协方差矩阵：这个矩阵对角线上的分别是两个变量的方差，而其它元素是 a 和 b 的协方差。

 

降维：将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。

降维优化目标：协方差全为0，方差最大。

所以，我们需要将除对角线外的其它元素化为 0，并且在对角线上将元素按大小从上到下排列（变量方差尽可能大）