PCA understanding

PCA understanding

clip_image001

我们希望获取玩具的位置,事实上我们只需要知道玩具在x轴的位置就可以了(但现实不知道)。我们利用三个坐标轴,获取了2*3维度的数据,现实中我们如何通过分析六维度数据来获取玩具的位置?

clip_image002

clip_image003

可以从上图看出camera A,B,C的x,y轴相关度都很明显,数据有冗余。

l 如何压缩数据?如何去除数据中的噪声,或者合并数据中相关的维度(来获取x轴数据)

l How to change the basis of the data

Let X be the original data set, where each column is a single sample of our data set. In the toy

example X is an m×n matrix where m = 6 and n = 72000.Let Y be another m×n matrix related by a linear transformation P. X is the original recorded data set and Y is a new representation of that data set. m=6(每组数据6维度)n=72000(72000组sample)

clip_image004clip_image006clip_image008

clip_image009

从数学方面解释就是,找个一个正定矩阵P, 使得数据X转换到Y之后(Y=PX),使得clip_image010是对角矩阵,The rows of P are the principal components of X. clip_image011

以特征值大小排列特征值与特征向量,数据压缩时,可以删掉后面较小的特征值与特征向量。

SVD与PCA的关系

clip_image012clip_image013

可以看出通过SVD变换,对于X可以找出PCA中的转换矩阵P=U’, 对于X’可以找出PCA中的转换矩阵P=V’.

 

 

参考文献:

A_Tutorial_on_Principal_Component_Analysis

posted @ 2014-09-23 11:15 joey周琦 阅读(...) 评论(...) 编辑 收藏