读数据可视化23跨媒体数据(上)

1. 跨媒体数据

1.1. 媒体

• 1.1.1. Media

• 1.1.2. 是人与人之间信息交流的中介，是信息的载体，也称为*媒介

1.2. 多媒体

• 1.2.1. Multimedia

• 1.2.2. 在计算机系统中，组合两种或两种以上媒体的一种人机交互式信息交流和传播媒体

1.3. 涉及的媒体种类包括直接作用于人感官的文字、图像、视频、语音，即多种信息载体的表现形式和传递方式

1.4. 传播媒体

• 1.4.1. 传递信息的手段、方式或载体

• 1.4.2. 语言、文字、报纸、书刊、广播、电视、电话、电报、网络等

1.5. 超媒体

• 1.5.1. Hypermedia

• 1.5.2. 使用超链接（Hyperlink）构成的全球信息系统

1.6. 对多媒体和超媒体的研究是计算机智能信息处理的重要内容

2. 图像

2.1. 图像是日常生活中最常见、最容易创造的媒体

2.2. 图像适用于表现含有大量细节（如明暗变化、场景复杂、轮廓色彩丰富）的对象

2.3. 对于图像数据的可视化可以帮助用户更好地从大量的图像集合中发现一些隐藏的特征模式

2.4. 图像网格

• 2.4.1. 在计算机出现之前，艺术领域最常见的教学方法是*将两帧图像通过两台幻灯机投影进行比较

• 2.4.2. Image Grid

• 2.4.3. 根据图像的原信息将其按二维阵列形式排列，生成可视化

• 2.4.4. 混合画

• 2.4.4.1. Montage

• 2.4.5. 图像网格方法实现简单，但选择图像和排列图像的过程不仅需要符合数据特性的转变方式，还需要处理一些关键操作，如合理安排可视元素、凸显用户难以直接观察到的信息模式等

2.5. 基于时空采样的图像集可视化

• 2.5.1. 由于可视化空间的限制，想要直接可视化大规模图像集并且不造成视觉遮挡是非常困难的

• 2.5.2. 在时间或者空间这两个属性上进行一定程度的*信息压缩

• 2.5.3. 对图像或图像序列的部分内容或区域进行时域或空间域的重采样并呈现的方法统称为基于时空采样的图像可视化

• 2.5.4. 时间采样

• 2.5.4.1. 指根据图像序列源信息中与时间或者顺序相关的属性（图像上传时间、视频帧序号、连环画页码）从图像序列中挑选出子序列进行重采样并显示

• 2.5.4.2. 与视频流摘要（Video Summarization）的思想相似，后者自动生成有代表性的图像集来简洁地概括整段视频的内容

• 2.5.4.3. 平均化技术：将同一时间段内同一上下文的图像进行平均，以此呈现这一时间段的概括性视觉特性

• 2.5.5. 空间采样

• 2.5.5.1. 仅对每张图像中的*一部分内容进行显示

• 2.5.5.2. 相比于图像网格，这种显示方式能更有效地利用空间

2.6. 基于相似性的图像集可视化

• 2.6.1. 关联性往往通过计算图像内容、文字描述或者语义注释中特征的相似性得到

• 2.6.2. 图片基于相似性可以构造出带有层次的信息，从而支持大规模图像集的浏览

2.7. 海塞图

• 2.7.1. Hasse Diagram

• 2.7.2. 是超图可视化的一种方法

• 2.7.3. 可简明而清晰地突出偏序关系的“层次”​，为有效地分析偏序关系的性质

• 2.7.4. 求极大（小）元、最大（小）元和上（下）确界，提供了极大的方便

2.8. 基于故事线的社交图像可视化

• 2.8.1. 故事线是可视化大规模社交网络图片的一种有效方法

• 2.8.2. 故事线可以提炼出多类别图片之间在时间线上的先后顺序

• 2.8.3. 从大规模社交网络图片中提取出时序变化的单向网络是生成故事线的关键技术

3. 视频

3.1. 视频的获取和应用越来越普及，如数字摄像机、视频监控、网络电视等，存储和观看视频流通常采用线性播放模式

3.2. 视频处理算法仍然难以有效地自动计算视频流中复杂的特征，如安保工作中可疑物的检测

3.3. 视频自动处理算法通常导致大量的误差和噪音，其结果难以直接用于决策支持，需要人工干预

3.4. 如何帮助使用者快速准确地从海量视频中获取有效信息依旧是首要的任务挑战，而视频可视化恰好能为此提供非常有效的辅助

3.5. 分类

• 3.5.1. 电影/电视

• 3.5.1.1. 很广泛的一个类别，通常叙述一个故事或表达某种*情绪和感情

• 3.5.1.2. 又包含不同的子类别

• 3.5.2. 旅行日记

• 3.5.3. 教学视频

• 3.5.4. 庆典/活动

• 3.5.5. 演讲/访谈

• 3.5.6. 体育比赛

3.6. 视频可视化主要考虑采用何种视觉编码表达视频中的信息​，以及如何帮助用户快速精确地分析视频特征和语义

3.7. 视频可视化旨在从原始视频数据集中提取有意义的信息，并采用适当的视觉表达形式传达给用户

3.8. 视频可视化分类

• 3.8.1. 视频摘要

• 3.8.2. 视频抽象

3.9. 视频摘要

• 3.9.1. 是从大量视频中抽取出用户感兴趣的关键信息，然后把数据信息编码到视频中，从而对视频进行语义增强，帮助用户理解视频

• 3.9.2. 视频摘要的技术可以用于提取重要信息，从而*缩短观看视频的时间

• 3.9.3. 将视频看成图像堆叠而成的立方（Video Cube）是一种经典的视频表达方法

• 3.9.4. 为了减少对视频数据的处理时间，可采用更为简洁的方法呈现视频立方中包含的有效信息

• 3.9.5. 主要步骤包括：*视频获取、特征提取、视频立方构造、视频立方可视化

• 3.9.6. 关键是依赖一组视频特征描述符来刻画视频帧之间的变化趋势

• 3.9.7. 用户通过设计视频立方的空间转换函数交互地探索场景

• 3.9.8. 在视频处理时，数据层面的处理可由低层次的计算机视觉完成，而高层次的推理则必须由用户执行，这就需要视频可视化方法呈现处理后的数据，引导用户完成高级智能操作

• 3.9.9. 视频立方表示允许实现各类三维图像操作和立体视觉方法

• 3.9.10. 提炼视频关键元素是其解决的核心问题

• 3.9.11. 除了使用视频的特征计算每一帧的重要性，视频的描述性文字等语义特征也可以辅助算法捕捉关键信息

3.10. 视频抽象

• 3.10.1. 是将视频中的宏观结构信息和变化趋势或者关键信息有机地组织起来并且映射为可视化图表，以便帮助观察者快速有效地理解视频流

• 3.10.2. 视频抽象注重将视频信息映射为可视化元素，其中视频信息主要指代视频中重要的信息，而不是原始的视频图像

• 3.10.3. 视频抽象包括语义抽取和语义信息可视化两步

• 3.10.4. 视频抽象方法可以分为视频嵌入、视频图标和视频语义

• 3.10.5. 视频嵌入

• 3.10.5.1. 是指将视频的每一帧图像嵌入向量空间中，每一帧用一个向量代表，向量之间的距离表示图像的相似度

• 3.10.5.2. 一种思路是将视频流转化成一个向量，并且以线性或非线性形式组织起来，以便帮助观察者快速有效地理解视频流中宏观的结构信息和变化趋势

• 3.10.5.3. 一种思路是直接将视频的每一帧看成高维空间中的一个点，并采用投影算法，例如Isomap，将其嵌入低维空间中，然后顺序连接低维空间中的点，形成一条线性轨迹

3.10.5.3.1. 轨迹可以提供很多有用的信息

• 3.10.5.4. 常规的视频概要性方法将原始视频变换为简单的视频或多帧序列图像

3.10.5.4.1. 受限于原有的时间序列，难以表达视频中复杂的语义信息

• 3.10.6. 视频图标

• 3.10.6.1. Visual Signature

• 3.10.6.2. 是指将整段视频的内容抽象为图标的形式

• 3.10.6.3. 指对视频的内容或特征采用某种变换形成的简化可视表达，从而实现以较少的信息量来传达视频中蕴含的特征模式

• 3.10.6.4. 视频条形码

3.10.6.4.1. 将视频中的每一帧图像（二维）摊开为沿纵轴排列的彩色线，并以时间轴为横轴将彩色线依次排列，形成一个长形的彩色条形码，成为一部电影所特有的视觉标识

3.10.6.4.2. 通过将视频立方中的每帧图像从二维聚合为一维，将整个三维视频立方转化成二维平面上的一张彩色图像，称为视频条形码

• 3.10.6.5. 视频指纹

3.10.6.5.1. 从每个视频片段中提取出现频率最高的若干种颜色，按照时间顺序将片段排列成圆环

• 3.10.7. 视频语义

• 3.10.7.1. 是指从视频中抽取出具有语义的属性或关键性事件，然后以可视化结果呈现这些关键信息

• 3.10.7.2. 直接从原始的监控数据中找到交通系统中发生的特殊事件是非常费时且困难的工作

4. 声音与音乐

4.1. 声音

• 4.1.1. Sound

• 4.1.2. 是能触发听觉的生理信号，声音属性包括音乐频率（音调）​、音量、速度、空间位置等

4.2. 人类语言的口头沟通产生的声音称为语音（Voice）

4.3. 音乐

• 4.3.1. Music

• 4.3.2. 是一种有组织的声音的集合，是由声音和无声组成的时序信号构成的艺术形式，旨在传达某些讯息或情绪

4.4. 音乐可视化通过呈现各种属性，包括节奏、和声、力度、音色、质感与和谐感来揭示其内在的结构和模式

• 4.4.1. 五线谱实际上是音乐可视化的典型代表，它采用蝌蚪符表达音律

• 4.4.2. 在电子时代，音乐可视化常常是音乐媒体播放工具中的一个功能，生成一段以音乐为基础的动画图像，实时产生并与音乐的播放同步呈现

4.5. 声乐可视化往往与实时播放音乐的响度和频谱的可视化联系在一起，其范围从收音机上简单的示波器显示到多媒体播放器软件中动画影像的呈现

4.6. 声波振记器（Phonautograph）将声音转换成可视轨迹

4.7. 改进的声波振记器（Phonodiek）生成4个波浪痕迹表示长笛、单簧管、双簧管、萨克斯的音色差异

4.8. 声乐波形可视化

• 4.8.1. 声音频谱图

• 4.8.2. 语音是人类语言发音，针对语音数据的语音频谱图包含三个变量：横坐标表示时间，纵坐标表示频率，坐标点值表示语音数据能量，用颜色表达

4.9. 声乐结构的可视化

• 4.9.1. 声乐结构的可视化是抽象音乐结构的一个视觉增强方式，它为听众提供了理解和感知音乐韵律的视觉方法，也可以表现出不同时期作曲家作品中的差异

• 4.9.2. 弧图（Arc Diagram）法

• 4.9.2.1. 采用首尾端点位于一维轴上的弧表示重复的音乐结构，其宽度与重复序列的长度成正比，半径与匹配对之间的距离成正比

• 4.9.3. 同弦（Isochords）法

• 4.9.3.1. 采用大数学家欧拉发明的二维三角坐标网格（称为Tonnetz，音格）​，对音乐结构和一部作品的发展进行可视化

• 4.9.3.2. 被广泛应用于现代的音乐分析

• 4.9.4. ImproViz

• 4.9.4.1. 是一种展现爵士乐的即兴旋律和谐波模式的可视化技术，它利用旋律线的轮廓和调色板对和声可视化

4.10. 音乐乐谱可视化的基本准则

• 4.10.1. 声音表达简单，易于在视觉上识别

• 4.10.2. 时间应该与空间关系契合

• 4.10.3. 乐谱的全局呈现应当一目了然

• 4.10.4. 乐谱最重要的部分并不是阅读

• 4.10.5. 音乐乐谱的主要目的是音乐的听觉表现，并非定量分析