《数据挖掘导论》读书笔记（三）—— 探索数据

书名：数据挖掘导论(Introduction to Data Mining)
作者: Pang-Ning Tan / Michael Steinbach / Vipin Kumar
出版社: 人民邮电出版社
译者: 范明 / 范宏建
出版年: 2010-12-10
ISBN: 9787115241009

第3章 探索数据

鸢尾花数据集

• 数据来源
  加州大学欧文分校(UCI)机器学习库鸢尾花数据集
• 数据介绍
  包含150种鸢尾花信息，每50种取自三个鸢尾花品种之一：Setosa、Versicolour、Virginica。
  花的特征有以下五种：
  1. 萼片长度（厘米）
  2. 萼片宽度（厘米）
  3. 花瓣长度（厘米）
  4. 花瓣宽度（厘米）
  5. 类(Setosa、Versicolour、Virginica)

汇总统计

汇总统计(summary statistics)是量化的（如均值和标准差），用单个数或数的小集合表示可能很大的值集的各种特征。

频率和众数

考虑m个对象，这m个对象具有属性x，x的取值集合为{v1,...,vi,...,vk}。
则vi对应的频率： frequency(vi) = 具有属性vi的对象数/m
分类属性的众数(mode)是具有最高频率的值。

百分位数

对于有序数据，考虑值集的百分位数(percentile)更有意义。具体来说，给定一个有序的或连续的属性x和0与100之间的数p，属性x的第p个百分位数xp是一个x值，使得x的p%的观测值小于xp。

位置度量：均值和中位数

对于连续数据，两个使用最广泛的汇总统计是均值(mean)和中位数(median)，它们是值集位置的度量。
考虑m个对象，这m个对象具有属性x，x的取值集合为{v1,...,vi,...,vk}，且vi <= v(i+1)，则
均值：

\[mean(x) = \bar{x} = \frac{1}{m}\sum_{i=1}^{m}v_i \tag{3-1} \]

中位数：

\[median(x) = \left\{ \begin{matrix}v_{r+1},m=2r+1\\ \frac{1}{2}(v_r + v_{r+1}),m=2r\end{matrix} \right. \tag{3-2} \]

概括地说，如果奇数个值，则中位数是中间值；如果有偶数个值，则中位数是中间两个值的平均值。
由于均值对离群值敏感，所以有时采用截断均值(trimmed mean)。指定0和100之间的百分位数p，丢弃高端和低端的(p/2)%的数据，然后用常规的方法计算均值。中位数就是p=100时的截断均值。

散布度量：极差和方差

度量数据的集中程度。
最简单的度量是极差(range)。给定属性x，它具有m个值{\(x_1\),..,\(x_m\)}，则极差：

\[range(x) = max(x) - min(x) \tag{3-3} \]

更常用的度量是方差(variance)和标准差(standard deviation)。方差记作\(s_x^{2}\),标准差是方差的平方根，记作\(s_x\)。标准差和x具有相同的单位。

\[s_x^{2} = \frac{1}{m-1}\sum_{i=1}^m(x_i - \bar{x})^{2} \tag{3-4} \]

注意，式(3-4)表示的是样本方差，注意与总体方差进行区别。
由于方差对离群值敏感，所以有时会用到以下三种度量。
绝对平均偏差(absolute average deviation, AAD):

\[AAD(x) = \frac{1}{m}\sum_{i=1}^m|x_i - \bar{x}| \tag{3-5} \]

中位数绝对偏差(median absolute deviation, MAD):

\[MAD(x) = median(\{|x_1 - \bar{x}|,...,|x_m - \bar{x}|\}) \tag{3-6} \]

四分位数极差(interquartile range, IQR):

\[IQR(x) = x_{75\%} - x_{25\%} \tag{3-7} \]

多元汇总统计

包含多个属性的数据的位置度量，可以通过分别计算每个属性的均值或中位数得到。
对于每个属性的散布情况，更多的使用协方差矩阵(covariance matrix)S表示，其中，S的第ij个元素\(s_{ij}\)是数据的第i个和第j个属性的协方差。这样，如果\(x_i\)和\(x_j\)分别是第i个和第j个属性，则：

\[s_{ij} = covariance(x_i, x_j) \tag{3-8} \]

而其中，

\[covariance(x_i, x_j) = \frac{1}{m-1}\sum_{k=1}^m(x_{ki}-\bar{x_i})(x_{kj}-\bar{x_j}) \tag{3-9} \]

其中，\(x_{ki}\)和\(x_{kj}\)分别是第k个对象的第i和第j个属性的值。
协方差的值接近于0，表明两个变量不具有（线性）关系。
数据的相关性，可以用相关矩阵(correlation matrix)来度量。相关矩阵的第ij个元素是数据的第i和第j个属性之间的相关性。如果\(x_i\)和\(x_j\)分别是第i个和第j个属性，则：

\[r_{ij} = correlation(x_i, x_j) = \frac{covariance(x_i, x_j)}{s_is_j} \tag{3-10} \]

其中\(s_i\)和\(s_j\)分别是\(x_i\)和\(x_j\)的方差。

可视化

动机

1. 让人们能够快速吸取大量可视化信息，并发现其中的模式。
2. 利用“锁在人脑袋中”的领域知识，用非可视化的方式分析，用可视化的方式提供结果，由领域专家进行评估。

一般概念

• 表示：将数据映射到图形元素
  将数据对象、属性，数据对象之间的联系表示成诸如点、线、形状、颜色等图形元素。
• 安排
  正确合理地安排各项元素。
• 选择
  删除或不突出某些对象和属性。

技术

少量属性的可视化

• 茎叶图(stem and leaf plot)
• 直方图(histogram)
• 条形图(bar plot)
• 相对频率直方图(relative frequency histogram)
• Pareto直方图(Pareto histogram)
• 二维直方图(two-dimensional histogram)
• 盒状图(box plot)
• 饼图(pie chart)

可视化时间空间数据

• 等高线图(contour plot)
• 曲面图(surface plot)
• 矢量图(vector plot)
• 低维切片
• 动画

可视化高维数据

• 矩阵
• 平行坐标系(parallel coordinates)
• 星形坐标(star coordinates)
• Chernoff脸(Chernoff face)

注意事项

ACCENT原则：

• 理解(Apprehension)
  正确察觉变量之间的关系。图形能够最大化对变量之间关系的理解吗？
• 清晰性(Clarity)
  以目视识别图形中所有元素。重要的元素或关系在视觉上最突出吗？
• 一致性(Consistency)
  根据以前的图形的相似性解释图形。元素、符号形状、颜色等与以前的图形使用的一致吗？
• 有效性(Efficiency)
  用尽可能简单的方法描绘复杂关系。图形元素的使用经济吗？图形容易解释吗？
• 必要性(Necessity)
  对图形和图形元素的需要。与其他替代方法（表、文本）相比，图形是提供数据的更有用形式吗？为了表示关系，所有的图形元素都是必要的吗？
• 真实性(Truthfulness)
  通过图形元素的大小，确定图形元素所代表的的真实值。图形元素可以准确地定位和定标吗？