论文解读-《DiffWire Inductive Graph Rewiring via the Lovász Bound》

1. 论文介绍

论文题目：DiffWire: Inductive Graph Rewiring via the Lovász Bound
论文领域：图神经网络，图重连算法
论文发表：Learning on Graphs Conference 2022
论文背景：

2. 论文摘要

图神经网络（GNN）已被证明可以在处理与图相关的任务方面取得有竞争力的结果，例如节点和图分类、链接预测以及各种领域的节点和图聚类。大多数GNN使用消息传递框架，因此被称为MPNN。尽管它们的结果很有希望，但据报道，MPNNs存在过度平滑、过度挤压和伸展不足的问题。文献中提出了图重新布线和图池作为解决这些局限性的解决方案。然而，大多数最先进的图重布线方法无法保持图的全局拓扑结构，既不可微也不可归纳，并且需要调整超参数。在本文中，我们提出了DiffWire，这是一种利用Lovász界进行MPNN中图重连的新框架，具有原则性、完全可微性和无参数性。所提出的方法通过在MPNN中提出两个新的互补层为图重新布线提供了一个统一的理论：CT层，一个学习节点连接跳跃数并将其用作边重新加权的相关函数的层；GAP层，一个根据网络的性质和手头的任务优化频谱间隙的层。我们使用用于图分类的基准数据集分别实证验证了这些层的价值。我们还对CT层用于同质和异质节点分类任务进行了初步研究。DiffWire将节点连接跳跃数的可学习性与曲率的相关定义结合在一起，为创建更具表现力的MPNN打开了大门。

3. 相关介绍

3.1 背景介绍

有效解决图的过度挤压和过度平滑的问题，有图池化和图重连方法。
很多的图重连方法依赖于边采样策略，边会根据一个相关函数产生的权重来进行采样，边的相关性可以通过不同的方式计算，如随机，相似度，或者边的曲率等。
目前图重连方法的SOTA的采样策略有三个大的局限性：1，不能保留整个图的全局拓扑结构，2，大部分图重连方法既不可微也不可归纳，3，基于扩散度的相关函数是超参数配置的，无疑增加了一层复杂度。
图结构学习GSL：同时学习最优化的图结构和相关的特征。diffWire算法可以视为是GSL算法，CT-layer是一个基于度量的神经网络，GAP-layer是一个直接优化图结构的神经网络

3.2 本文的贡献

1，最重要的贡献是提出了一个理论框架DiffWire，是可微的，归纳式的，而且没有超参数限制。基于Lovasz边界；
Lovasz边界是一个把跳跃数和网络的谱间隙联系起来的边界，DiffWire可以预测最优图结构。目前研究领域的跳跃数和曲率，曲率和谱间隙之间的关系并没有一个统一的理论来描述。
我们的目标是把图扩散和曲率理论进行联系，给出一个新的图重连方法，能够保证图的结构。
2，使用CT作为一个相关性函数来进行边的重加权，由此产生一个CT layer作为GNN的一部分来学习CT；
3，使用GAP-layer来进行优化任务的谱间隙；
4，将CT layer和GAP-layer进行训练去获得CT处理后的特征和最小化图的谱间隙；

4. DiffWire算法

根据统一理论，给出两种新的层，CT层，学习跳跃数时间和作为相关性函数来进行边的重加权，GAP层，基于神经网络来优化谱间隙
整个算法的框架如下

4.1 Lovasz边界

Lovasz边界是图论和组合优化中的一个重要工具，用于分析图的各种性质，在谱图理论和图划分问题上有着重要的作用。改进后的Lovasz边界，在图分析和机器学习上更具有实用性，核心在于将图的拉普拉斯矩阵的特征值和图的几何性质（如有效阻尼）联系起来。

关于Lovasz边界有如下的不等式，该边界说明了图的任意两个节点的有效阻尼收敛到一定的范围。

其中H_uv是从u节点到v节点所经历的期望跳跃次数，其中通勤时间(commute time)CT_uv=H_uv+H_vu，CT_uv是从u节点跳跃到v节点再返回到u节点的总的期望跳跃次数，也是两个节点的有效阻尼。vol(G)是图的体积volume，即图的所有节点的度的总和，d_u和d_v分别是节点u和v的度，d_min则整个图的最小的度。
其中谱间隙的定义为