特征降维

降维

1.1 定义

降维是指在某些限定条件下，降低随机变量(特征)个数，得到⼀组“不相关”主变量的过程

• 降低随机变量的个数

相关特征(correlated feature)

• 相对湿度与降⾬量之间的相关
• 等等

正是因为在进⾏训练的时候，我们都是使⽤特征进⾏学习。如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较⼤

1.2 降维的两种⽅式

• 特征选择
• 主成分分析PCA（可以理解⼀种特征提取的⽅式）

特征选择

2.1 定义

数据中包含冗余或⽆关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。

2.2 方法

Filter(过滤式)：主要探究特征本身特点、特征与特征和⽬标值之间关联

• 方差选择法：低方差特征过滤
• 相关系数

Embedded (嵌⼊式)：算法⾃动选择特征（特征与⽬标值之间的关联）

• 决策树:信息熵、信息增益
• 正则化：L1、L2
• 深度学习：卷积等

低方差特征过滤

删除低⽅差的⼀些特征，前⾯讲过⽅差的意义。再结合⽅差的⼤⼩来考虑这个⽅式的⻆度。

• 特征⽅差⼩：某个特征⼤多样本的值⽐较相近
• 特征⽅差⼤：某个特征很多样本的值都有差别

2.3.1 API

sklearn.feature_selection.VarianceThreshold(threshold = 0.0)

• 删除所有低⽅差特征
• Variance.fit_transform(X)
  • X:numpy array格式的数据[n_samples,n_features]
  • 返回值：方差低于threshold的特征将被删除。默认值是保留所有⾮零⽅差特征，即删除所有样本中具有相同值的特征。

2.3.2 示例股票数据

 

import pandas as pd
from sklearn.feature_selection import VarianceThreshold
data=pd.read_csv(r"D:\learn\000人工智能数据大全\黑马数据\机器学习\factor_returns.csv")
data.head()

	index	pe_ratio	pb_ratio	market_cap	return_on_asset_net_profit	du_return_on_equity	ev	earnings_per_share	revenue	total_expense	date	return
0	000001.XSHE	5.9572	1.1818	8.525255e+10	0.8008	14.9403	1.211445e+12	2.010	2.070140e+10	1.088254e+10	2012-01-31	0.027657
1	000002.XSHE	7.0289	1.5880	8.411336e+10	1.6463	7.8656	3.002521e+11	0.326	2.930837e+10	2.378348e+10	2012-01-31	0.082352
2	000008.XSHE	-262.7461	7.0003	5.170455e+08	-0.5678	-0.5943	7.705178e+08	-0.006	1.167983e+07	1.203008e+07	2012-01-31	0.099789
3	000060.XSHE	16.4760	3.7146	1.968046e+10	5.6036	14.6170	2.800916e+10	0.350	9.189387e+09	7.935543e+09	2012-01-31	0.121595
4	000069.XSHE	12.5878	2.5616	4.172721e+10	2.8729	10.9097	8.124738e+10	0.271	8.951453e+09	7.091398e+09	2012-01-31	-0.002681

我们对某些股票的指标特征之间进⾏⼀个筛选，除去'index,'date','return'列不考虑（这些类型不匹配，也不是所需要指标）

# 先排除无关特征
useful_data=data.iloc[:,1:10]
print(useful_data.shape)#(2318, 9)
useful_data.head()

	pe_ratio	pb_ratio	market_cap	return_on_asset_net_profit	du_return_on_equity	ev	earnings_per_share	revenue	total_expense
0	5.9572	1.1818	8.525255e+10	0.8008	14.9403	1.211445e+12	2.010	2.070140e+10	1.088254e+10
1	7.0289	1.5880	8.411336e+10	1.6463	7.8656	3.002521e+11	0.326	2.930837e+10	2.378348e+10
2	-262.7461	7.0003	5.170455e+08	-0.5678	-0.5943	7.705178e+08	-0.006	1.167983e+07	1.203008e+07
3	16.4760	3.7146	1.968046e+10	5.6036	14.6170	2.800916e+10	0.350	9.189387e+09	7.935543e+09
4	12.5878	2.5616	4.172721e+10	2.8729	10.9097	8.124738e+10	0.271	8.951453e+09	7.091398e+09

#低方差特征过滤
flter=VarianceThreshold(threshold=1)
flter_data=flter.fit_transform(useful_data)
flter_data.shape#(2318, 8)

#低方差特征过滤-增大阈值
flter=VarianceThreshold(threshold=10)#方差要求更大，过滤掉更多数据
flter_data=flter.fit_transform(useful_data)
flter_data.shape#(2318, 7)

相关系数

主要实现⽅式：

• ⽪尔逊相关系数
• 斯⽪尔曼相关系数

皮尔逊相关系数(Pearson Correlation Coefficient)

1.作⽤

反映变量之间相关关系密切程度的统计指标

2.公式计算案例(了解，不⽤记忆)

公式

举例

• ⽐如说我们计算年⼴告费投⼊与⽉均销售额

广告费与月平均销售额的相关数据表   单位：万元

年广告费投入（万元）	月均销售额（万元）
12.5	21.2
15.3	23.9
23.2	32.9
26.4	34.1
33.5	42.5
34.4	43.2
39.4	49.0
45.2	52.8
55.4	59.4
60.9	63.5

 

那么之间的相关系数怎么计算

序号	广告投入x（万元）	月均销售额y（万元）	\(x^2\)	\(y^2\)	xy
1	12.5	21.2	156.25	449.44	265.00
2	15.3	23.9	234.09	571.21	365.67
3	23.2	32.9	538.24	1082.41	763.28
4	26.4	34.1	696.96	1162.81	900.24
5	33.5	42.5	1122.25	1806.25	1423.75
6	34.4	43.2	1183.36	1866.24	1486.08
7	39.4	49.0	1552.36	2401.00	1930.60
8	45.2	52.8	2043.04	2787.84	2386.56
9	55.4	59.4	3069.16	3528.36	3290.76
10	60.9	63.5	3708.81	4032.25	3867.15
合计	346.2	422.5	14304.52	19687.81	16679.09

 最终计算：

 

所以我们最终得出结论是⼴告投⼊费与⽉平均销售额之间有⾼度的正相关关系。

3.特点

相关系数的值介于–1与+1之间，即–1≤ r ≤+1。其性质如下：

• 当r>0时，表示两变量正相关，r<0时，两变量为负相关
• 当|r|=1时，表示两变量为完全相关，当r=0时，表示两变量间⽆相关关系
• 当0<|r|<1时，表示两变量存在⼀定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱
• ⼀般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为⾼度线性相关

4.api

from scipy.stats import pearsonr

• x : (N,) array_like
• y : (N,) array_like Returns: (Pearson’s correlation coefficient, p-value)

5.案例

from scipy.stats import pearsonr
x1 = [12.5, 15.3, 23.2, 26.4, 33.5, 34.4, 39.4, 45.2, 55.4, 60.9]
x2 = [21.2, 23.9, 32.9, 34.1, 42.5, 43.2, 49.0, 52.8, 59.4, 63.5]
pearsonr(x1,x2)#PearsonRResult(statistic=0.9941983762371884, pvalue=4.922089955456965e-09)

 

注：后面的pvalue，在样本数大于500时有参考价值，且值越小，相关性越高 

 斯皮尔曼相关系数(Rank IC)

1.作⽤：

反映变量之间相关关系密切程度的统计指标

2.公式计算案例(了解，不⽤记忆)

公式:

 

 n为等级个数，d为⼆列成对变量的等级差数

举例:

因子暴露度 pe_ratio	排序	return	排序	等级差
9	1	1.0	1	0
7	2	0.75	2	0
5	3	0.2	3	0

 

3.特点

斯⽪尔曼相关系数表明 X (⾃变量) 和 Y (因变量)的相关⽅向。 如果当X增加时， Y 趋向于增加, 斯⽪尔曼相关系数则为正

与之前的⽪尔逊相关系数⼤⼩性质⼀样，取值 [-1, 1]之间

斯⽪尔曼相关系数⽐⽪尔逊相关系数应⽤更加⼴泛

4.api

from scipy.stats import spearmanr

5.案例

from scipy.stats import spearmanr
x1 = [12.5, 15.3, 23.2, 26.4, 33.5, 34.4, 39.4, 45.2, 55.4, 60.9]
x2 = [21.2, 23.9, 32.9, 34.1, 42.5, 43.2, 49.0, 52.8, 59.4, 63.5]
spearmanr(x1, x2)#SignificanceResult(statistic=0.9999999999999999, pvalue=6.646897422032013e-64)

主成分分析

3.1 什么是主成分分析(PCA)

定义：⾼维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量

作⽤：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。

应⽤：回归分析或者聚类分析当中

对于信息⼀词，在决策树中会进⾏介绍

那么更好的理解这个过程呢？我们来看⼀张图

如何对一个立体物体进行最好的二维展示

3.2 API

sklearn.decomposition.PCA(n_components=None)

• 将数据分解为较低维数空间
• n_components:
  • ⼩数：表示保留百分之多少的信息
  • 整数：减少到多少特征
• PCA.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]
• 返回值：转换后指定维度的array

3.3 数据计算

先拿个简单的数据计算⼀下

from sklearn.decomposition import PCA

data = [[2,8,4,5], [6,3,0,8], [5,4,9,1]]
# 1、实例化PCA, ⼩数——保留多少信息
transfer = PCA(n_components=0.9)
# 2、调⽤fit_transform
data1 = transfer.fit_transform(data)
print("保留90%的信息，降维结果为：\n", data1)
# 1、实例化PCA, 整数——指定降维到的维数
transfer2 = PCA(n_components=3)
# 2、调⽤fit_transform
data2 = transfer2.fit_transform(data)
print("降维到3维的结果：\n", data2)

保留90%的信息，降维结果为：
 [[-3.13587302e-16  3.82970843e+00]
 [-5.74456265e+00 -1.91485422e+00]
 [ 5.74456265e+00 -1.91485422e+00]]
降维到3维的结果：
 [[-3.13587302e-16  3.82970843e+00  4.59544715e-16]
 [-5.74456265e+00 -1.91485422e+00  4.59544715e-16]
 [ 5.74456265e+00 -1.91485422e+00  4.59544715e-16]]