Tensor中的矩阵分解

常见的矩阵分解：

  • LU分解：将矩阵A分解成L(下三角）矩阵和U(上三角）矩阵的乘积
  • QR分解：将原矩阵分解成一个正交矩阵Q和一个上三角矩阵R的乘积:
  • EVD分解：特征值分解
  • SVD分解：奇异值分解

EVD特征值分解

特征值分解是将矩阵分解为由其特征值和特征向量表示的矩阵之积的方法。

可EVD分解矩阵

  1. 矩阵方阵且满秩(可对角化)
  2. 矩阵分解不等于特征降维度
  3. 协方差矩阵描述方差和相关性

PCA主成分分析

PCA即n维特征映射到k维上（n＞k），这k维是全新的正交特征也被称为主成分，是在原有n维特征的基础上重新构造出来的k维特征。（无监督）

PCA优化目标：

  • 降维后同一纬度的方差最大（方差代表相似性，越大特征越丰富）
  • 不同维度之间的相关性为0（相关性越低越好）

使用方法：对协方差矩阵进行矩阵分解，特征值小的舍弃。

SVD奇异值分解

torch.svd(tensor)

LDA判别分析

目的：将不同类别的样本区分开

  • 同类间距尽可能小
  • 不同类间距尽可能大

 

优化函数：类间（尽可能大）/类内（尽可能小，求最大值