数据挖掘学习笔记-第二章数据预处理

第二章 Data Preprocessing

Missing Data 丢失的数据

Local Outlier Factor 不合群的数据如何找出

 

Duplicate data 重复的数据

Data Transformation 数据转换

Sampling 采样，和统计学的采样相反。

 Imbalanced Datasets 

 Over-Sampling

 

 

Boundary-Sampling 对于数据集太大时，可以考虑采用边缘采样，边缘点更有意义

Normalization  

Data Description (Mean,Median,Modle,Variance) 中位数往往比均值更好 

  

  

Data Visualization (MATLAB,CiteSpace,Gephi)多运用常用工具来展示数据

Feature Selection 

Class Distribution  

Entropy  

Feature Subset Search  根据需要选择部分子集，使其高效

 几种策略 

Feature Extraction 

Principal Component Analysis  

  

 

The Issue of Pca   未考虑到分类 

Fisher Critrion  

总结：数据预处理往往被认为是 花费时间最多、最繁杂、最累的工作，但是却是不可缺少的一步。