读书笔记《数据挖掘概念与技术》第2章 数据预处理 2.7 小结
《数据挖掘：概念与技术（原书第2版）》
2.7 小结
l 数据预处理对于数据仓库和数据挖掘都是一个重要的问题，因为现实中的数据多半是不完整的、有噪声和不一致的。数据预处理包括数据清理、数据集成、数据变换和数据规约。
l 描述性数据汇总为数据预处理提供分析基础。数据汇总的基本统计学度量包括度量数据集中趋势的均值、加权平均、中位数和众数，度量数据离散程度的极差、四分位数、四分位数间距、方差和标准差。图形表示，如直方图、盒图、分位数图、分位数-分位数图、散布图和散布图矩阵都有利于数据的视觉考察，因此对数据预处理和挖掘是有用的。
l 数据清理例程视图填补缺失的值，光滑噪声，识别离群点并纠正数据的不一致性。数据清理通常是一个迭代的两步过程，包括偏差检测和数据变换。
l 数据集成将来自不同数据源的数据整合成一致的数据存储。元数据、相关分析、数据冲突检测和语义异构性的解决都有助于数据的顺利集成。
l 数据变换例程将数据变换成适于挖掘的形式。例如，属性数据可以规范化，使得它们可以落在较小的区间，如0.0~1.0.
l 数据规约技术，如数据立方体聚集、属性子集选择、维度规约、数值规约和离散化都可以用来得到数据的规约表示，而使信息内容的损失最小。
l 数值数据的数据离散化和概念分层自动产生可能涉及诸如分箱、直方图分析、基于熵的离散化、χ2分析、聚类分析和基于直观划分的离散化等技术。对于分类数据，概念分层可以根据定义分层的属性的不同值个数自动产生。
l 尽管已经开发了许多数据预处理的方法，由于不一致或脏数据数量巨大以及问题本身的复杂性、数据预处理仍然是一个活跃的研究领域。
