特征工程之特征降维

特征工程之特征降维

• 降维
• 降维的两种方式
• • 特征选择
  • • 定义
    • 方法
    • 模块
  • 主成分分析

降维

降维是指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程

• 降低随机变量的个数
• 相关特征(correlated feature)
  • 相对湿度与降雨量之间的相关
  • 等等-

正是因为在进行训练的时候，我们都是使用特征进行学习。如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较大

降维的两种方式

特征选择

定义

数据中包含冗余或相关变量(或称特征、属性、指标等)，旨在从原有特征中找出主要特征。

方法

• Filter(过滤式)：主要探究特征本身特点、特征与特征和目标值之间关联。

  • 方差选择法：低方差特征过滤
  • 相关系数

• Embedded (嵌入式)：算法自动选择特征(特征与目标值之间的关联)

  • 决策树：信息焕、信息增益
  • 正则化：L1、L2
  • 深度学习：卷积等

模块

sklearn.feature_selection

主成分分析(可以理解一种特征提取的方式)