读数据可视化26高维多元数据(中)

1. 基于像素图的方法

1.1. 多元数据可视化面临的一个主要挑战是在有限的屏幕空间里显示海量数据

1.2. 在一个分辨率为1024×768的显示屏上，最多可以显示786432个数据对象，这是理论上对屏幕空间的利用率达到最优的情况

1.3. 将所有矩形按照一定的布局策略（如顺序布局或螺旋式布局）排列在二维空间，生成一整个像素块，这种方法称为像素图（Pixel Chart）​

• 1.3.1. 它的效率极大地依赖于颜色的使用，合适的颜色编码方法可揭示数据集的分布规律

2. 基于动画的方法

2.1. 动画过渡效果也常常被用于增强用户对数据点和不同数据可视化图表之间关系的感知

2.2. ScatterDice

• 2.2.1. 利用3D的骰子结合散点图矩阵

• 2.2.2. 在散点图矩阵上上下或左右移动一格，其总有一个不变的维度和两个变化的维度，两个变化维度的转移过程用骰子在立体空间中的转动做隐喻

2.3. RnavGraph

• 2.3.1. 是在低维的数据点关系图之间进行游览探索的，但是它不局限于二维散点图，还构建了一个图结构来表示游览探索时不同低维关系图之间的关系

• 2.3.2. 对于其中的数据点，还可以有各种不同的编码，甚至可以编码Glyph，十分灵活

• 2.3.3. 已经被编码成R语言的包供使用

3. 非结构化数据

3.1. 数据的复杂度并不仅仅来自数据高维特性，还源自数据的非结构性和异构性

3.2. 常规的关系型数据库处理具有明确结构、可有效存储于二维数据库表中的结构化数据

3.3. 有效的可视化方法需要依托于数据内在的结构和模式，因此非结构化数据可视化的关键在于采用合适的表达方法挖掘数据内在的模式，并对抽取的结构化信息选择适当的方法进行可视化

3.4. 网站日志数据

• 3.4.1. 点击流

• 3.4.2. 是另一种常见的非结构化数据

• 3.4.3. 它记录了用户在某个网站上所有的点击和访问的页面，数据中的每一条记录表示一次用户访问，一次访问是一个由用户点击事件组成的序列

4. 异构数据

4.1. 异构数据指同一个数据集中存在结构或者属性不同的数据的情况

4.2. 存在多种不同类别的节点和连接的网络被称为异构网络

4.3. 异构数据通常可采用网络结构进行表达

4.4. 数据整合为可视化模块从众多独立和异构的数据源获取数据提供了统一和透明的访问接口，使得原本无法被多数据源支持的查询表达获得支持

4.5. 数据整合的常用方式有改变物理存储的物化式和通过虚拟数据接口实现的虚拟式两种

5. 大尺度数据

5.1. 科学计算和科学探测的尺度涵盖从微观到宏观的所有现象，最早关注数据的大尺度性并提出有效的解决方案的领域是21世纪初的科学计算

5.2. 基于并行的大尺度数据高分辨率可视化

• 5.2.1. 全方位显示大尺度数据的所有细节是一个计算密集型的过程

• 5.2.2. 大规模计算集群（如分布式多核计算集群、GPU+CPU混合架构集群等）是处理大尺度数据的基本技术路线

• 5.2.3. 大规模数据的高清可视化需要高分辨率的显示设备和显示方法

• 5.2.4. 传统的高分辨率显示屏通常采用大屏幕拼接系统方式

• 5.2.5. 高精度的大屏幕投影拼接面向专业级用户，普通的个人用户实现大尺度数据的高精度可视化需要额外的方案

• 5.2.6. 两类方法

• 5.2.6.1. 采用下采样（Downsampling）的方法，将高精度数据采样为低分辨率，进而在给定分辨率的视图中实现预览式（Preview）可视化

• 5.2.6.2. 采用层次结构重新组织大尺度数据，并结合多种用户交互方法（如层次细节、聚焦+上下文）实现单一视角下的自适应分辨率选择或多个视角的光滑切换

5.2.6.2.1. 数据的高分辨率表示增加了对存储空间的额外需求

• 5.2.7. CAVE2™

• 5.2.7.1. 一个混合虚拟现实系统

• 5.2.7.2. 由伊利诺伊大学芝加哥分校的Electronic Visualization Laboratory开发

• 5.2.7.3. 可以同时展示2D和3D信息

• 5.2.7.4. 为多媒体应用展示提供更大的灵活性，也为研究者小组共同协作研究异构数据提供更多的可能性

• 5.2.8. SAGE2

• 5.2.8.1. 一个基于大屏幕的数据密集型协作中间件

• 5.2.8.2. 基于云技术和浏览器技术，增强数据密集型的同地协作或远程协作能力

5.3. 分而治之

• 5.3.1. Divide and Conquer

• 5.3.2. 是计算机图形学和可视化领域的标准方法

• 5.3.3. 如二叉树、八叉树、四叉树等空间管理结构等

• 5.3.4. 面向大尺度数据的分析和可视化，分而治之是一种必然且可行的技术路线

• 5.3.5. 分而治之是一种放之四海而皆准的思想，在大数据时代解决数据量大的挑战必然会起到非常关键且重要的作用

5.4. 统计分析层的分而重组

• 5.4.1. R语言是一门开源的面向统计分析的底层语言

• 5.4.2. R语言本身基于单线程运行，但可利用大量的软件开发包实现多核并行计算

• 5.4.3. 新颖的思路是将数据分为子集，对所有子集采用合适的数据方法进行分析或可视化，继而合并结果

• 5.4.4. 分而重组思想的核心步骤包括分治（Divide）和重组（Recombine）​，依据用户需求、数据特性和数据本身结构实现最优的数据划分

• 5.4.5. S部分—剖分

• 5.4.5.1. 数据经过S步计算得到子集

• 5.4.5.2. 条件变量分割法

5.4.5.2.1. Conditioning-Variable Division

5.4.5.2.2. 认为分割过程依赖于探索的题材，某些变量被选为条件变量，并且被分配到每个子集中

• 5.4.5.3. 重复分割法

5.4.5.3.1. Replicate Division

5.4.5.3.2. 应用于不同场合，其中包括条件变量分割法分割后的子集太大的情况

5.4.5.3.3. 数据被看作是拥有q个变量的n个观察值，被视为重复数（Replicates）​，这些重复数来自同一次试验

5.4.5.3.4. 如果采用随机重复划分（Random-Replicate Division）的方式使用随机观察值，而从不替换地产生子集，那么其优点是速度快，缺点是各个子集缺乏代表性

5.4.5.3.5. 如果采用近邻剔除重复分割（Near-Exact-Replicate）的方式，则n个观察值将被分割成拥有几乎相同观测值的邻居集合

• 5.4.6. W部分—分析

• 5.4.6.1. 每个子集经过W步计算的分析过程

• 5.4.7. B部分—重组

• 5.4.7.1. 子集通过B步计算重组并输出

• 5.4.7.2. 统计重组法B

5.4.7.2.1. Statistic Recombination

5.4.7.2.2. 合成了各个子集的统计值，比如在线性回归中，将各个子集的最小均方差估计的平均值作为子集合成后的向量值

• 5.4.7.3. 分析重组法

5.4.7.3.1. Analytic Recombination

5.4.7.3.2. 只是简单的W计算和B计算步骤的延续，旨在观察、分析和评估计算结果

5.4.7.3.3. 哪些分布之间相对独立

5.4.7.3.4. 哪些分布呈现伽马分布

• 5.4.7.4. 可视化重组法

5.4.7.4.1. Visualization Recombination

5.4.7.4.2. 提供一种能够细粒度观察数据的方法，并且使用了不同的抽样策略：代表性抽样、聚焦抽样

5.5. 数据挖掘层的分而治之

• 5.5.1. 三个步骤

• 5.5.1.1. 输入数据

• 5.5.1.2. 将输入数据分为n份（可以是等份或按规则划分）​，对每份数据采用最合适的分类器分类后，将分类结果融合

• 5.5.1.3. 通过一个强分类器计算最终结果

5.6. 数据可视化层的分而治之

• 5.6.1. 大规模科学计算的结果通常体现为规则的空间型数据，因而非常适合于采用多核并行模式实现加速和分而治之的处理

• 5.6.2. 标准的科学计算数据的并行可视化采用计算密集型的超级计算机、计算集群和GPU集群等模式

• 5.6.3. 产业界流行的Hadoop和MapReduce等面向普适数据的大数据处理框架，通常被用于处理非空间型数据

• 5.6.4. 将MapReduce框架应用于科学计算的空间型数据，意味着科学计算的空间型数据和非结构化数据可以在统一的数据分而治之的框架下处理

• 5.6.5. HadoopViz

• 5.6.5.1. 一个基于MapReduce可视化大量空间数据的框架

• 5.6.5.2. 拥有更强大的能力

5.6.5.2.1. 支持平滑函数，能将一些缺失数据利用周围数据平滑展示

5.6.5.2.2. 支持利用剖分-绘制-合并（Partition-Plot-Merge）三阶段技术，生成超大的图像（十亿像素分辨率（Giga-pixel Resolution）​）​

5.6.5.2.3. 支持多种空间数据，除了上面的地理数据，还支持比如散点图、路网等