PCA降维算法

PCA主成分分析算法，是一种线性降维，将高维坐标系映射到低维坐标系中。

如何选择低维坐标系呢？

通过协方差矩阵的特征值和特征向量，特征向量代表坐标系，特征值代表映射到新坐标的长度。

算法步骤：

输入：样本集D={x₁,x₂,...,x_m}；

　　　低维空间维数k

第一步：将样本集中心化。每一列的特征值减去当前列的均值

第二步：求协方差矩阵的特征值和特征向量

　　　　协方差矩阵：矩阵×矩阵的转置；

　　　　　　方法：np.dot(x, np.transpot(x))

　　　　特征值和特征向量：协方差矩阵特征分解。

　　　　　　方法一：np.linalg.eig()，返回：特征值，一维数组，没有排序；特征向量，二维数组，列表示特征向量

　　　　　　方法二：np.linalg.svd()，返回：酉矩阵；奇异值，从大到小排序；酉矩阵

第三步：选取前k个特征值，对应的特征向量

　　　　新样本集：对应的特征向量×中心化数据

输出：降维后样本集。

k选择问题：

　　方差贡献率：特征值与所有特征值总和的比值

　　累计贡献率：前k个特征值和与所有特征值总和的比值

　　一般根据累计贡献率选取k值。

代码如下：

import numpy as np


def feature_Normalize(x):
    """
    归一化数据
    (每个数据-当前列的均值)/当前列的标准差
    :param x: 样本集
    :return: 归一化后样本集,均值,标准差
    """
    m, n = x.shape
    mean = np.zeros((1, n))
    std = np.zeros((1, n))
    # 计算各列均值
    mean = np.mean(x, axis=0)
    # 计算各列标准差
    std = np.std(x, axis=0)
    # 对每个特征值归一化
    for i in range(n):
            x[:, i] = (x[:, i] - mean[i]) / std[i]
    return x, mean, std


def cal_eigenvalue(nor_x):
    """
    求样本协方差矩阵的特征值和特征向量
    :param nor_x: 归一化后的样本集
    :return: 特征值,特征向量,排序索引号
    """
    m, n = nor_x.shape
    # 协方差矩阵
    sigma = np.dot(np.transpose(nor_x), nor_x)/(m - 1)
    # 求协方差矩阵的特征值和特征向量,eig_vec[:,i]是对应于eig_val[i]的特征向量
    eig_val, eig_vec = np.linalg.eig(sigma)
    index = eig_val.argsort()
    return eig_val, eig_vec, index


def pca(x, k):
    """
    提取前k个主成分
    :param x: 样本集
    :param k: 前k个特征值
    :return: 返回降维后样本,累计贡献度,主成分索引
    """
    # 归一化
    nor_x, mean, std = feature_Normalize(x)
    # 求特征值和特征向量
    eig_val, eig_vec, index = cal_eigenvalue(nor_x)
    eig_index = index[:-(k+1):-1]
    # 累计贡献度
    sum_con = sum(eig_val[eig_index])/sum(eig_val)
    # 前k个特征值对应的特征向量
    k_eig_vec = eig_vec[:, eig_index]
    lowDData = np.dot(nor_x, k_eig_vec)
    return lowDData, sum_con, eig_index