【数据挖掘】特征选择和降维

一、概念

特征选择feature selection：也被称为variable selection或者attribute selection. 是选取已有属性的子集subset来进行建模的一种方式.

进行特征选择的目的主要有: 简化模型，缩短训练时间，避免维数灾难(curse of dimensionality),  增强model的泛化能力.

降维dimensionality reduction: 通过对原有的feature进行重新组合，形成新的feature，选取其中的principal components.  常用降维方法有PCA和SVD分解.

dimensionality reduction和feature selection差别主要在于: 前者在原有的feature上生成了新的feature, 后者只是选取原有feautre 集合中的子集，而不对原有集合进行修改.

二、特征选择方法

filter method: 通过统计学的方法对每个feature给出一个score, 通过score对特征进行排序，然后从中选取score最高的子集. 这种方法仅仅是对每个feature进行独立考虑，没有考虑到feature之间的依赖性或相关性. 常用的方法有: 卡方检验，信息增益等.

wrapper method: 和filter method 相比, wrapper  method 考虑到了feature 之间的相关性, 通过考虑feature的组合对于model性能的影响. 比较不同组合之间的差异，选取性能最好的组合. 比如recursive feature selection

 

embedded method: 结合前面二者的优点,  在模型建立的时候，同时计算模型的准确率. 最常见的embedded method 是 regularization methods(简单来说就是通过增加penalization coefficients来约束模型的复杂度).

 

 三、降维的方法

PCA:

SVD: