论文解读-《Locality-Aware Graph-Rewiring in GNNs》

1. 论文介绍

论文题目：Locality-Aware Graph-Rewiring in GNNs
论文领域：图神经网络，图重连技术，LASER算法
论文发表：ICLR 2024
论文背景：

2. 论文摘要

图神经网络（GNN）是在图上进行机器学习的一种流行模型，它通常遵循消息传递的范式，通过聚集相邻节点上的信息，递归地更新节点的特征。在输入图上交换信息使GNN具有强烈的感应偏置，同时也会使GNN易受过度挤压的影响，从而阻止它们捕获给定图中的长程相互作用。为了解决这个问题，图重布线技术被提出作为一种通过改变图的连通性来改善信息流的方法。在这项工作中，我们确定了图重布线的三个要求：（i）减少过度挤压，（ii）尊重图的局部性，以及（iii）保持图的稀疏性。我们强调空间和光谱重布线技术之间的基本权衡；前者通常满足（i）和（ii）但不满足（iii），后者一般满足（i）和（iii）而牺牲（ii）。我们提出了一个新的重新布线框架，通过一个局部感知的重新布线操作序列来满足（i）-（iii）的所有要求。然后，我们讨论了这种重新布线框架的一个具体实例，并在几个实际的基准上验证了它的有效性，表明它要么匹配现有的重新布线方法，要么显著优于现有的重新布线方法。

3. 相关介绍

3.1 背景介绍

过度挤压是消息传递式GNN的一个局限性特点，一种解决方案是图重连方法。这里划分为空间类型的和谱域类型的，空间重连方法是连接两个距离k-跳的节点，一个极端的情况是图基于注意力机制的带权重全连接，graph transformer方法；谱域重连方法是通过图理论属性来提高整个图的连通性，基于某些基础属性或者指标来进行优化，如谱间隙，通勤时间，有效阻尼。

基于空间的图重连算法，根据位置信息来增加一个距离的边来让节点能够捕获到远距离的信号，这类方法的结果一般导致图更加密集，增加图的计算量。
基于谱域的图重连算法，根据整体的优化指标来增加边以更好维持图的稀疏性。

根据上面的特点，我们能否设计一个通用的图重连框架，既能利用空间方法的归纳偏置，又能以谱方法特有的更高边效率方式实现？

3.2 论文贡献

1，介绍当前的图重连算法并且把它们分为两类，基于空间的和基于谱域的；给出了图重连算法需要保持的三个原则：减少过度挤压，保持图的局部性，保持图的稀疏性
2，提出了新的框架LASER，框架利用距离相似性进行空间重连，同时通过根据等变最优条件采样待添加边来保证谱技术的效率。
3，实验证明了LASER在多种不同任务下的相比于其他图重连算法更优越的表现

3.3 当前图重连技术

GNN图重布线方法中将输入图与计算图分离的技术概念，当前的图重连算法的节点特征函数可以归纳为

表示节点的特征x依赖于原输入图的邻接信息，和图重连后图的邻接信息。

4. LASER算法

给定一个图G，每次经过图重连操作$R_l$后，会得到一个新的GL

所以，每一层的特征x可以写为

框架建立在两个关键度量上

• 连接线度量u：量化信息在节点之间流动的容易程序，值越低表示连通性越低。
• 局部性度量v：衡量原始图中节点之间的距离或相关性
  根据两个度量变量，选择R的方式是满足v的限制下，最大化u。

4.1 保持局部性下提高连通性

在每一次图重连下，应该把局部性度量$v$满足$\tau_l$$\subset$$[0, \infty]$，

由于新增的边连接的是具有较低µ值的节点，随着ℓ的增长，这种图重连使得图$G_l$更有利于消息传递。此外，通过逐步扩大区间$\tau_l$的取值范围，我们确保新增边仅在后期的快照中连接由ν指定的远距离节点。

一序列的图重连技术使得能够在给定图与具有更好连通性的图之间进行插值，通过逐步添加非局部边来创建中间快照。

4.2 瞬时重连与序列化的重连

瞬时重连，一次性大幅提高图的连通性，必然会违反局部性约束ν，要么在相距甚远的节点间添加连接边，要么通过大量添加（局部）连接边而损害图的稀疏性。但是序列化的图重连，能够实现从初始图G0到GL构型的更平滑演变，使得对过度挤压更具鲁棒性，从而能更轻松地通过局部约束保持拓扑结构所提供的归纳偏置。

4.3 一个同等的视角：多关系GNN

上述序列的图重连生成的图列表，可实例化为一个多关系图神经网络家族，可以写为

其中u是一个可学习的消息函数，依赖于每一层t和对应的图重连图l。不同之处是序列生成的图重连技术是基于固定的重连程序，而多关系GNN是基于训练数据。

5. LASER框架

在具体实现中，使用最短路径距离作为局部性度量，使用有界长度的游走次数作为连接性度量。

在图重连图Gl中，仅在原始图中距离为l+1的节点之间添加边，在每一个序列间隔中，仅在连接性最差的节点对之间的一小部分来添加边，以保持稀疏性。

LASER框架分为两个步骤
1，系列化的图重连操作：相比其他方法只产生一次的图重连，LASER会产生多个图重连的样本
2，局部和连通性衡量：使用最短通行距离作为局部性的衡量，

laser层的特征层为

当p等于0的时候，就等于标准的MPNN

那么GCN-LASER的特征可以写为

6. 算法实现

LASER算法可以分为两步，
第一步，连通性度量u和局部性度量v的计算方式

第二步，根据连通性度量u来选择连线的边，根据密度因子p和局部度量v的限制下进行。

7. 实验设置

实验数据集选择LRGB和TUDataset
基线分类模型选择GCN，但是在消融实验中提供多种类型的MPNN
对比方法由SDRF，BORF，FOSR，GTR，还有DiffWire。
首先是在LRGB数据集上的数据

在TUDataset数据集上的实验结果

消融实验
通过这个五个问题来研究LASER算法的正确性
问题1，LASER算法可以提高图的连通性吗
问题2，LASER算法比其他图重连算法在保持局部性上表现更好吗
问题3，在边的采样中的超参数p的取值的影响
问题4，如果从邻居节点中随机采样，相比于最优化连通性度量u的采样，有什么差异
问题5，LASER算法适用于大型图吗
消融实验采用FOSR作为一个典型的谱域图重连算法来进行比较

图2可以看出LASER算法明显有更低的有效阻尼，即更好的图的连通性。同时也保留了原始图的距离，即更好的局部性。
此外，发现p值为0.1的LASER算法优于密集图（p值为1）方法，尤其在保持距离矩阵所含信息方面显著超越了谱分析方法。

图3回答了问题3的内容，再次证明了p=0.1的效果表现最好。

关于可扩展性，LASER 成功地在约2小时内完成了包含10万个节点和1百万条边的图的重连，而领先的基线在24小时内超时，这表明 LASER 对于大型图具有卓越的可扩展性。

8. 总结和个人感悟

从谱域和空间的角度来看，并给出图重连算法的目标原则，到最终成型算法的给出。不仅仅有解决问题，而是重新分析问题，定义问题，并解决问题的模式，值得一读。