读数据可视化25高维多元数据(上)

1. 高维多元数据

1.1. 挑战

• 1.1.1. 对于高维多元数据，以统计和基本分析为主的可视化系统分析能力不足

• 1.1.2. 数据复杂度大大增加，包括非结构化数据和从多个数据源采集、整合而成的异构数据，传统单一的可视化方法无法支持对此类复杂数据的分析

• 1.1.3. 数据的大尺度已经超越了单机、外存模型甚至小型计算集群处理能力的极限，当前的软件与工具效率不高，可处理的数据尺度大约在GB级别，需要采用全新思路来解决数据大尺度的挑战

• 1.1.4. 在数据获取和处理中，会不可避免地产生数据质量的问题，其中特别需要关注的是数据的不确定性

• 1.1.5. 数据快速动态变化，常以流式数据形式存在，对流数据的实时分析与可视化仍然是一个急需解决的问题

1.2. 高维多元数据

• 1.2.1. Multidimensional Multivariate Data

• 1.2.2. 指每个数据对象有两个或两个以上独立或者相关属性的数据

• 1.2.3. 当数据同时具有独立和相关属性时，高维多元数据是较为科学、准确的描述

1.3. 高维

• 1.3.1. Multidimensional

• 1.3.2. 指数据具有多个独立属性

1.4. 多元

• 1.4.1. Multivariate

• 1.4.2. 指数据具有多个相关属性

• 1.4.3. 在很多情况下不确定数据的属性是否独立，因此通常简单地称之为多元数据

1.5. 散点图

• 1.5.1. Scatter Plot

• 1.5.2. 二维和三维数据可以采用一种常规的可视化方法表示：将各个属性的值映射到不同的坐标轴，并确定各数据点在坐标系中的位置

1.6. 当维度超过三维时，可通过各种视觉编码来表示额外的属性，例如颜色、大小、形状等

• 1.6.1. 视觉编码的种类有限

• 1.6.2. 过多或者过于复杂的视觉编码会降低可视化的可读性

1.7. 需要更有效的多元数据可视化方法，其目标是在低维空间（通常是二维空间）内显示更多元的数据

1.8. 三类基本方法：空间映射、图标法和基于像素的可视化方法

2. 空间映射法

2.1. 散点图的本质是将抽象的数据对象映射到二维的直角坐标系表示的空间

2.2. 数据对象在坐标系的位置反映了其分布特征，直观、有效地揭示两个属性之间的关系

2.3. 散点图的思想可泛化为：采用不同的空间映射方法将多元数据对象布局在二维平面空间中，数据对象在空间中的位置反映了其属性及相互之间的关联，而整个数据集在空间中的分布则反映了各个维度之间的关系及数据集的整体特性

2.4. 散点图矩阵

• 2.4.1. 是散点图的扩展

• 2.4.2. 由于散点图的直观性和广泛应用，散点图矩阵能较为容易地被用户接受，并能非常有效地揭示属性之间的关联

• 2.4.3. 交互式选取感兴趣属性进行可视化和分析是一种常用的解决方案

• 2.4.4. 通过计算散点图特征，优先显示重要性较高的散点图也可以在一定程度上缓解空间的局限

2.5. 表格透镜

• 2.5.1. Table Lens

• 2.5.2. 是对传统使用表格呈现多元数据（如Excel等软件）方法的扩展

• 2.5.3. 每个数据对象由一行表示，每列表示一个属性

• 2.5.4. 表格透镜方法并不直接列出数据在每个维度上的值，而是将这些数值用水平横条或者点表示

• 2.5.5. 表格透镜允许用户对行（数据对象）和列（属性）进行排序，用户也可以选择显示某一个数据对象的实际数值

2.6. 平行坐标

• 2.6.1. Parallel Coordinates

• 2.6.2. 是展示多元数据的另一种有效方法，被广泛使用于多元数据的可视化及分析领域

• 2.6.3. 平行坐标方法采用相互平行的坐标轴，每个坐标轴代表数据的一个属性，因此每个数据对象对应一条穿过所有坐标轴的折线

• 2.6.4. 平行坐标是一种重要的多元数据可视化分析工具，它用平行坐标取代了垂直坐标，可以在二维空间中显示更高维的数据

• 2.6.5. 不仅可以揭示数据在每个属性上的分布，还可以描述相邻两个属性之间的关系

• 2.6.6. 由于平行坐标的坐标轴是顺序排列的，对于非相邻属性之间关系的表现相对较弱，不易于同时表现多个维度之间的关系

• 2.6.7. 直接借用了常见的坐标系统的映射，比较直观

2.7. 安德鲁斯曲线与平行坐标有着异曲同工之妙，但更加复杂，它将每个多元数据D=（d1,d2,…,dN）的分量作为参数拟合出一条曲线

2.8. Parallel Sets

• 2.8.1. 作为专门为多元离散数据设计的可视化系统，提出了更为有效的连线和布局方法

• 2.8.2. 对坐标轴之间的折线进行了一定程度的集束和合并，降低了视觉复杂度

2.9. 径向布局

• 2.9.1. 主要有星形坐标和RadViz两种常见的可视化方法

• 2.9.2. 这两种布局的坐标轴的映射有些复杂，但*其视觉表达效果不错

• 2.9.3. 星形坐标

• 2.9.3.1. Star Coordinates

• 2.9.3.2. 最初由Kandogan提出，由于其性质能保留高维数据集的一些聚类或其他模式，所以常被用于一些聚类或分类的发现、探索与分析中

• 2.9.3.3. 本质是从高维数据到二维平面的一种仿射变换

• 2.9.4. RadViz

• 2.9.4.1. 一种在径向上做处理的布局，最早在DNA Visual and Analytic Data Mining一文中提出，这种方法也能帮助用户观察点簇聚类结构

• 2.9.4.2. 会将一个n维球面映射成一个具有任意长宽比和大小的椭圆

• 2.9.4.3. 意味着用户很难仅靠投影在二维平面上的形状对n维点簇形状做出假设

• 2.9.4.4. 在二维平面上靠得很近的两个点在n维空间中可能离得很远

• 2.9.4.5. 在n维空间中靠得很近的两个点在二维平面上也可能离得很远

• 2.9.4.6. 利用正交变换，可以确保半径为r的n维球面在变换后仍然是具有同样半径的圆，且变换后的点的距离不大于n维空间中的距离

2.10. 降维

• 2.10.1. 当数据维度非常高时​，各类可视呈现方法都无法清晰地表示所有数据细节

• 2.10.2. Dimension Reduction

• 2.10.3. 通过线性或非线性变换将多元数据投影（Project）或嵌入（Embed）至低维空间（通常为二维或三维）​，并尽量在低维空间中保持数据在多元空间中的关系或特征

• 2.10.4. 线性方法

• 2.10.4.1. 主元分析

2.10.4.1.1. Principal Component Analysis,PCA

2.10.4.1.2. 是常用的分析和简化数据的技术

2.10.4.1.3. 在减少数据集维度的同时，保持对数据集方差贡献最大的特征

2.10.4.1.4. 建立在最大方差理论、最小错误理论和坐标轴相关理论的基础之上，其核心步骤是特征分解协方差矩阵

2.10.4.1.5. 最直观的解释是：在低维空间中找到一个数据观察角度，以便最大限度地观察多元数据之间的差异（使方差最大）​

2.10.4.1.6. 音乐可视化软件MusicBox将每首音乐看成一个多元数据

• 2.10.4.2. 多维尺度分析

2.10.4.2.1. Multidimensional Scaling,MDS

2.10.4.2.2. 作为一种常用的降维方法，在统计分析和信息可视化领域有着广泛的应用

2.10.4.2.3. 通过MDS降维之后的坐标系统并无实际意义

2.10.4.2.4. 特点

2.10.4.2.4.1. MDS旨在保持数据在多元空间中的相似性，而这种相似性或者重要性具有相对性，且MDS结果并非旋转无关，对同一个数据集采用多次MDS投影获得的结果可能需要旋转后才能配准

2.10.4.2.4.2. 当数据点数目较多时，MDS结果容易陷入局部收敛，从而无法获得全局最优解，且简单地改变初始条件可能致使结果具有很大的差异

• 2.10.4.3. 线性判别分析

2.10.4.3.1. Linear Discriminant Analysis,LDA

• 2.10.5. 非线性方法

• 2.10.5.1. 局部线性嵌入

2.10.5.1.1. Locally Linear Embedding,LLE

• 2.10.5.2. Isomap

• 2.10.5.3. SNE

• 2.10.5.4. t-SNE

2.10.5.4.1. 是2008年由van der Maaten和Hinton提出的降维可视化算法

3. 图标法

3.1. 图标（Glyph）表达单个多元数据对象，图标中的不同视觉元素被用来表示数据对象的不同属性

3.2. 典型的代表有雷达图、Chernoff Faces和DICON

3.3. 雷达图

• 3.3.1. Radar Chart

• 3.3.2. 又称为星形图（Star Plots）​

• 3.3.3. 可以看成平行坐标的*极坐标版本

• 3.3.4. 提供了一种比较紧凑的数据可视化

• 3.3.5. 随着数据维度的增加，可视化所占的圆形区域内需要显示更多的坐标，但是，*其总面积并不变

• 3.3.6. 由于人类视觉识别对形状和大小的敏感性，雷达图能使得不同数据对象之间的比较更加容易和高效

• 3.3.7. Z-Glyph是TargetVue中提出的一种适合完成异常发现任务的可视化方法

3.4. Chernoff Faces

• 3.4.1. 出发点是我们的视觉和大脑非常擅长于人脸识别，能够察觉脸部非常细微的区别，因此，我们也能通过观察模拟人脸的图标来察觉数据对象间的区别

• 3.4.2. 基于图标表示的多元数据可视化方法通过直观易懂的视觉编码展示多元数据的属性，并依赖人们对这些视觉元素的感知能力来进行信息的辨识和认知

• 3.4.3. 选择易于被感知的视觉元素

• 3.4.4. 数据属性和视觉元素之间的映射必须直观易懂

3.5. DICON

• 3.5.1. 是一种动态的基于图标的可视化技术，可以帮助用户理解、评估和调整复杂的高维数据的聚类结果