论文解读-《Deep Convolutional Networks on Graph-Structured Data》

1. 论文介绍

论文题目：Deep Convolutional Networks on Graph-Structured Data
论文领域：图神经网络
论文发表：NIPS 2015
论文背景：

2. 论文摘要

深度学习最近的成功主要依赖于卷积网络，它利用了图像、声音和视频数据的基本统计特性：局部平稳性和多尺度组合结构，允许用更短的局部交互来表达远程交互。然而，还有其他重要的例子，例如文本文档或生物信息学数据，可能缺乏部分或全部这些强大的统计规律。
在本文中，我们考虑了如何在一般的非欧几里得域上构建具有较小学习复杂性的深度架构的一般问题，这些域通常是未知的，需要从数据中估计。特别是，我们开发了频谱网络的扩展，其中包含一个图估计程序，我们在大规模分类问题上进行测试，匹配或改进 Dropout 网络，但要估计的参数要少得多。

3. 介绍

深度神经网络成功的核心在于对数据的统计特性的一个重要假设，即通过局部统计实现的平稳性和合成性。
ConvNet可以有效利用这些特性，提取信号域中共享的局部特征。能够在不损害从数据中提取统计信息的能力的情况下，能够大大减少网络中的参数数量。

数据是低维网格上定义的信号，平稳性是通过网格上的自然平移算子来定义的，局部性是通过网格的度量来定义的，组成性是通过下采样的方式来获得的。

4. 本文主要贡献

• 1 ，将已有的思想扩大到大规模分类问题，如ImageNet对象识别，文本分类，生物信息学
• 2，在没有关于图结构的先验信息的最一般的情况下，结合有监督卷积，提出了无监督和新的有监督图估计技术

5. 相关工作

关于局部视野域的结构在图像识别的高效应用，有一种方法是学习如何根据以无监督方式获得的相似性度量将特征组合在一起，而不需要利用任何共享全权重策略。

有论文提出了一种通过图拉普拉斯，将卷积操作推广到图的方法。
通过在网格中识别一个线性的，平移不变的算子和在图中的对应（拉普拉斯算子）算子，可以把卷积看作是与拉普拉斯算子交换的线性变化族。

6. 图卷积网络

6.1 将卷积泛化到图中

本文的算法是建立在谱域网络上，谱网络通过图傅立叶变换可以把卷积网络泛化，通过将网格上的拉普拉斯算子推广到图拉普拉斯算子来定义卷积网络。

上面的定义中，设置W是无向图的相似矩阵，L为W的拉普拉斯图，D为特征向量，输入信号x与滤波器g和对g的卷积图的定义。

在图上的学习滤波器有，相当于学习谱域乘子。

对于每个特征映射g，需要的卷积核是很小的空间的，与输入像素数量无关。为了恢复谱域中类似的学习复杂度，需要把谱域乘子的类别限制为局部滤波器相对应的类别。同时在网格中，频域的平滑度对应的空间衰减。

图卷积算法的伪代码

池化操作
随着模型的加深，空间分辨率和特征分辨率存在一个矛盾，两者之间的权衡有必要。
为了降低模型复杂度，池化操作，计算局部邻域的统计信息，如平均振幅，能量，或最大激活。

6.2 图构建

在非欧几里得中的一些任务，在构建谱域网络之前，需要从数据中估计相似矩阵W。本文有两种可能的图构建，一种是通过测量联合特征的进行监督，一种是使用初始网络为估计的代理来监督。

（1），无监督图估计
根据数据来估计图结构，最简单的方式是用下图的给出的两个特征之间的距离。

使用该距离作为高斯扩散核

另外的，自调整扩散核的变体为

定义好的这一个核，其方差是每个特征点附近的局部调整。

（2），有监督图估计
一个很简单的方式是使用完全联通的网络来确定特征相似性。
特征之间的距离

输入高斯核后，有监督学习方法会提取最合适的分类任务的线性测量集合。

实验设置
数据集从三个领域：文本分类，计算生物学，计算机视觉数据集。
网络架构设计：通过交织图卷积层，ReLu层和图池化层。
原因：与ConVnet的高效卷积相比，谱域网络的需要对每个输入输出的特征映射进行O（N^2）的矩阵乘法，计算量大，所以选择使用较少的特征映射和较小的池化来实验。

实验数据

7. 总结

图神经网络在推进的时候的经典。