Python PCA主成分分析

一、PCA算法流程

输入：n维样本集

输出：降维后的样本集D′D′

1) 对所有的样本进行中心化

2) 计算样本的协方差矩阵

3) 对协方差矩阵进行特征值分解

4）取出最大的n'个特征值对应的特征向量(w1,w2,...,wn′)(w1,w2,...,wn′), 将所有的特征向量标准化后，组成特征向量矩阵W。

5）对样本集中的每一个样本转成新的样本集

6) 得到输出样本集

二、代码实现

n_a = ((2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9))
n_a = [[i,j] for i ,j in n_a]
aa = mat(n_a)  #转化成矩阵10*2
a_m = mean(aa,axis=0)

print("原值\n{}\n".format(a_m))

a_ = aa-a_m
print("中心化后的值\n{}\n".format(a_))

cov_a = cov(a_, rowvar=0)
print("协方差矩阵\n{}\n".format(cov_a))

eig_val,eig_vec = linalg.eig(cov_a)

eig_vec = eig_vec.T
print("特征向量\n{}\n".format(eig_vec))


# eig_vec = (eig_vec-eig_vec.min())/eig_vec.std()

print("特征值\n{}\n".format(eig_val))

eig_val_ind = argsort(eig_val)
print("特征值排序\n{}\n".format(eig_val_ind))

eigValInd = eig_val_ind[:-2 :-1]  #控制降维个数

print("取出特征值的排序\n{}\n".format(eigValInd))

eig_vecmax = eig_vec[eigValInd]
print("特征向量最大值\n{}\n".format(eig_vecmax))

#降维后的值
print(a_*eig_vecmax.T)

       

三、Python自带的PCA函数算法

import numpy as np
from sklearn.decomposition import PCA
n_a = ((2.5,2.4), (0.5,0.7), (2.2,2.9), (1.9,2.2), (3.1,3.0), (2.3, 2.7), (2, 1.6), (1, 1.1), (1.5, 1.6), (1.1, 0.9))
n_a = [[i,j] for i ,j in n_a]

X = np.array(n_a)
# print(X.shape)
pca = PCA(n_components=2)
x = pca.fit(X)  

# print(pca.explained_variance_ratio_)   #贡献率 
# print(pca.singular_values_) 

print("协方差矩阵\n{}\n".format(x.get_covariance()))  #协方差
      
print("特征向量\n{}\n".format(x.components_ ))  #特征向量
      
low_d = pca.transform(n_a) #降低维度
print("降低维度后的向量\n{}\n".format(low_d  ))

结果：

详细了解函数运用访问 官方链接：https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html

本文参考刘建平老师的博客：https://www.cnblogs.com/pinard/p/6239403.html