《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》阅读

摘要

本文提出了一种可扩展的图结构数据半监督学习方法,该方法所提出的图神经网络的变体,通过近似一阶的局部谱图卷积,能够直接在图上进行运行,而不用进行大量的矩阵分解等等,能够将复杂度近似线性于边。同时,作者通过在cora,citeseer等多个数据集上,证实了他们的方法的有效性。

Introduction

首先,提出在对于图节点进行分类时,往往只有一小部分节点存在标注。这类问题,被归纳为基于图的半监督学习。而以往解决这类问题的方式是通过添加正则项对于图进行局部平滑,但是这类方法往往基于相邻节点存在相同标签的假设,而这类假设会限制模型的建模能力,忽略了边关系的丰富性。

因此,作者提出了一个直接对于图进行编码的网络模型,避免使用显示正则化。

主要贡献:
1)直接在图上运行的神经网络模型引入了一种简单且性能良好的逐层传播规则;
2)演示了这种基于图的神经网络模型形式如何用于对图中的节点进行快速且可扩展的半监督分类

tip

显式图正则化的核心思想基于图的平滑假设,即认为在图结构中,相连的节点更可能具有相似的性质或标签。通过在损失函数中添加L _reg,模型会倾向于使相连节点经过函数f映射后的特征向量尽可能接近,也就是让具有连接关系的节点在特征空间中的距离变小。这样一来,模型在学习过程中就能够利用图的结构信息,将标签信息从有标签节点平滑地传播到无标签节点,从而实现半监督学习。

图的快速近似卷积

在这里,作者从chebnet的入手,对其进行一阶近似。

在此基础上,作者对于卷积的传播规则进行了相应的创新。为每个邻接矩阵添加自环,并进行了归一化处理。本质上是对于原先的A和D加上了自环的影响,加入之后,使得最大特征值减小,更趋于1附近,同时节点传播包含自己的消息,并不会完全依赖于邻居,从而缓解梯度消失。

其中,邻接矩阵和度矩阵为下述定义:

半监督节点分类

具体的传播公式如下:

作者使用了两层的神经网络,并选择使用交叉熵损失对于模型进行评估。

实验

作者所使用的数据集

作者的相关参数设置

Dataset Dropout Rate L2 Regularization Hidden Units
Citeseer 0.5 5 × 10-4 16
Cora 0.5 5 × 10-4 16
Pubmed 0.5 5 × 10-4 16
NELL 0.1 1 × 10-5 64

实验结果:

复现结果:
https://github.com/ttxshang/GCN2017

posted @ 2025-04-22 19:53  菜dog的日常生活  阅读(62)  评论(0)    收藏  举报