主成分分析 PCA （一）

主成分分析-降维（PCA）

• 线性降维算法，PCA
• PCA 也称为 Karhunen–Loève 变换
• 用高维数据性质：数据往往位于一个低维子空间上

最大化投影空间的方差

• 保留尽可能多的信息

最小化重构数据 \(\hat{x_n}\) 与原始数据 \(x_n\) 的（欧几里得）距离

• 使 \(\hat{x_n}\) 与 \(x_n\) 尽可能接近

幂迭代（power iteration）

• 只求解第一个特征向量
• 通过求解特征多项式的根来得到特征值
• 大于4×4的矩阵，无法求解，因为需要求解5次或更高次多项式的根
• Abel–Ruffini定理（Ruffini, 1799; Abel, 1826）指出，对于5次及以上多项式，不存在代数解
• 幂迭代（power iteration）
  • 只求解 第一个 特征向量
  • 选择一个不在 \(S\) 零空间中的随机向量 \(x_0\)
  • $ x_{k+1} = \frac{S\ x_k}{|| S\ x_k ||},\ \ k=0,1,2,...$ 做迭代
  • 即：每一步将向量 \(x_k\) 乘以 \(S\) 后 归一化，即始终有 \(∥ x_k ∥ =1\)
  • 应用于Google PageRank算法（Page et al., 1999），基于网页超链接对网页进行排序