主成分分析 PCA（二）-- 高维 PCA

高维 PCA

• 维度--> \(x_n \in R^D\)，
• 数据集 \(X = \{x_1, x_2, ..., x_n \}\) 表示
  • \(n\) 表示样本数量（number of samples / observations），即数据点的个数
  • \(D\) 表示特征维度（dimensionality / number of features），即每个数据点 \(x_i\) 是一个 \(D\) 维向量
  • \(x_i = [x_{i1},x_{i2},...,x_{iD}]^T \in R^D\)
• \(D\) 维数据，其协方差矩阵为 \(D×D\)
  • 计算该矩阵的特征值和特征向量，复杂度为 \(O(D^3)\)
• 当数据点数量远小于维度时（\(N<<D\)）
• 协方差矩阵 \(S\) 的秩为 \(N\)，它有 \(D−N+1\) 个零特征值
• 存在冗余，将 \(D×D\) 转化为 \(N ×N\) 协方差矩阵，其所有特征值均为正
• 求解 \(N ×N\) 协方差矩阵 \(S'\) 的特征值
  • 由协方差矩阵定义
    • \(S b_m = \frac{1}{N} X X^\top b_m = \lambda_m b_m\)
  • 左乘 \(X^T\)
    • \(\frac{1}{N} \underset{N \times N}{X^\top X} \underset{=:c_m}{X^\top b_m} = \lambda_m X^\top b_m \Leftrightarrow \frac{1}{N} X^\top X c_m = \lambda_m c_m\)
  • \(XX^⊤\) 的非零特征值与 \(X^⊤X\) 的非零特征值相同
  • 可以降维求解（原 \(D\) 现 \(N\)）矩阵 \(\frac{1}{N} X^\top X \in R^{N \times N}\) 对应于 \(\lambda_m\) 的特征向量 \(c_m:=X^T b_m\)
  • 假设无重复数据点，则 \(\frac{1}{N} X^\top X \in R^{N \times N}\) 秩为 \(N\)且可逆
  • 即： \(\frac{1}{N} X^\top X\) 与数据协方差矩阵 \(S\) 具有相同的非零特征值
• 恢复原始特征向量
  • 已有 \(\frac{1}{N} X^\top X\) 的特征向量 \(c_m\)
  • 左乘 \(X\)
    • \(\frac{1}{N} X X^\top X c_m = \lambda_m X c_m\)
    • \(X c_m\) 即为原始协方差矩阵 \(S\) 的 特征向量
    • 应用（三）中的 PCA 算法，需将 \(S\) 的特征向量 \(X c_m\) 归一化，使其范数为1