论文解读(MVGRL)Contrastive Multi-View Representation Learning on Graphs

论文信息

论文标题:Contrastive Multi-View Representation Learning on Graphs
论文作者:Kaveh Hassani 、Amir Hosein Khasahmadi
论文来源:2020, ICML
论文地址:download 
论文代码:download

1 Introduction

  节点 local-global 对比学习。

2 Method

  框架如下:

  

  框架由以下组件组成:

    • 仅有图结构数据增强,并无节点级数据增强;
    • 两个专用 GNN Encoder $g_{\theta}(.)$,$g_{\omega}(.)$ ;
    • 图池化层(Graph pooling layer):即 Readout 函数;  
    • 判别器(Discriminator);  

2.1 Augmentations

Graph Diffusion

  图扩散如下:

    $\mathbf{S}=\sum\limits _{k=0}^{\infty} \Theta_{k} \mathbf{T}^{k} \in \mathbb{R}^{n \times n}\quad \quad\quad(1)$

  其中:

    • $\mathbf{T} \in \mathbb{R}^{n \times n} $ 是生成的转移矩阵,即 $\mathbf{T}=\mathbf{A} \mathbf{D}^{-1}$;  
    • $ \Theta$  是权重系数,决定了全局和局部信息的比重;  
    • $\sum\limits _{k=0}^{\infty} \theta_{k}=1, \theta_{k} \in[0,1] $  
    • $\lambda_{i} \in[0,1] $ 是矩阵  $\mathbf{T} $ 的特征值,保证收敛性。  

  图扩散常用形式:Personalized PageRank (PPR) 和 heat kernel,定义为:

    heat kernel:$\theta_{k}=e^{-t} t^{k} / k !$

    PPR:$\theta_{k}=\alpha(1-\alpha)^{k}$

  其中:$\alpha$ 表示随机游走的传送概率, $t$ 是扩散时间。

  heat kernel 和 PPR 的扩散矩阵如下:

    $\mathbf{S}^{\text {heat }}=\exp \left(t \mathbf{A} \mathbf{D}^{-1}-t\right) \quad\quad\quad\quad(2)$

    $\mathbf{S}^{\mathrm{PPR}}=\alpha\left(\mathbf{I}_{n}-(1-\alpha) \mathbf{D}^{-1 / 2} \mathbf{A} \mathbf{D}^{-1 / 2}\right)^{-1}\quad\quad\quad\quad(3)$

Sub-sampling

  从一个视图选择节点及其之间的边,并从另一个视图中选择一样的的节点及其之间的边。

2.2 Encoders

   本文采用 GCN Encoder,分别是 $g_{\theta}(.), g_{\omega}(.): \mathbb{R}^{n \times d_{x}} \times \mathbb{R}^{n \times n} \longmapsto\mathbb{R}^{n \times d_{h}}$。

  本文将 Sub-sampling 采样的子图 和 图扩散子图看成结构一致的视图,用 GCN Encoder 提取初始节点表示:

    $\sigma(\tilde{\mathbf{A}} \mathbf{X} \Theta)$

    $\sigma(\mathbf{S} \mathbf{X} \Theta)$

  其中

    • $\tilde{\mathbf{A}}=\hat{\mathbf{D}}^{-1 / 2} \hat{\mathbf{A}} \hat{\mathbf{D}}^{-1 / 2} \in \mathbb{R}^{n \times n}$;
    • $\mathbf{S} \in \mathbb{R}^{n \times n}$ 是扩散矩阵;
    • $\mathbf{X} \in \mathbb{R}^{n \times d_{x}}$ 是特征矩阵;
    • $\Theta \in \mathbb{R}^{d_{x} \times d_{h}}$ 是网络参数矩阵;
    • $\sigma$ 是非线性映射 ReLU (PReLU) ;

  学习到的表示被喂入到共享的 MLP 映射头(2层+使用 PReLU 激活函数):,最后生成各自对应的节点表示 

  然后使用共享参数的 MLP $f_{\psi}(.): \mathbb{R}^{n \times d_{h}} \longmapsto \mathbb{R}^{n \times d_{h}}$ 得到最终节点表示$\mathbf{H}^{\alpha}, \mathbf{H}^{\beta} \in \mathbb{R}^{n \times d_{h}}$ 。

    


  为得 图级表示,Readout ($\mathcal{P}(.): \mathbb{R}^{n \times d_{h}} \longmapsto \mathbb{R}^{d_{h}}$)函数拼接每个 GCN 层的节点表示,然后将其送入全职共享的包含 $2$ 层隐藏层的 MLP,使获得的图表示与节点表示的维数大小一致:

    $\vec{h}_{g}=\sigma\left(\|_{l=1}^{L}\left[\sum\limits _{i=1}^{n} \vec{h}_{i}^{(l)}\right] \mathbf{W}\right) \in \mathbb{R}^{d_{h}}\quad\quad\quad\quad(4)$

  其中:

    • $\vec{h}_{i}^{(l)}$  节点  $\text{i}$  第  $\text{l}$ 层的潜在表示;  
    • $\|$  是拼接操作;
    • $\text{L}$ 代表 $\mathrm{GCN}$  的层数;
    • $\mathbf{W} \in \mathbb{R}^{\left(L \times d_{h}\right) \times d_{h}}$  是网络权值矩阵;
    • $\sigma$ 是 PReLU 非线性映射;

    


  推断时,将图表示 $\vec{h}_{g}^{\alpha}, \vec{h}_{g}^{\beta} \in \mathbb{R}^{d_{h}}$,进行加和处理:

    $\vec{h}=\vec{h}_{g}^{\alpha}+\vec{h}_{g}^{\beta} \in \mathbb{R}^{n} $

  节点表示也进行加和处理:

    $\mathbf{H}=\mathbf{H}^{\alpha}+\mathbf{H}^{\beta} \in \mathbb{R}^{n \times d_{h}} $

  上述处理后的节点表示和图表示均可直接用于下游任务。

2.3 Training

  local-global MI 交叉对比:

    $\underset{\theta, \omega, \phi, \psi}{\text{max}}\frac{1}{|\mathcal{G}|} \sum\limits _{g \in \mathcal{G}}\left[\frac{1}{|g|} \sum\limits _{i=1}^{|g|}\left[\mathbf{M I}\left(\vec{h}_{i}^{\alpha}, \vec{h}_{g}^{\beta}\right)+\operatorname{MI}\left(\vec{h}_{i}^{\beta}, \vec{h}_{g}^{\alpha}\right)\right]\right]\quad\quad\quad\quad(5)$

  其中:

    • $\theta$,$\omega$,$\phi$,$\psi$  是图编码器和映射头的参数;  
    • $|\mathcal{G}|$  是图的数目;  
    • $|g| $ 是节点的数目;  
    • $\vec{h}_{i}^{\alpha}, \vec{h}_{g}^{\beta}$  是节点 $ i$  和图  $g$  在  $\alpha$, $\beta $ 视角下的表示。  

    

互信息作为为判别器 

  $\mathcal{D}(., .): \mathbb{R}^{d_{h}} \times \mathbb{R}^{d_{h}} \longmapsto \mathbb{R}$  ,即:  $\mathcal{D}\left(\vec{h}_{n}, \vec{h}_{g}\right)=\vec{h}_{n} \cdot \vec{h}_{g}^{T} $

  算法如下:

  

3 Experiments

数据集

  

节点分类

  

节点聚类

  

图分类

  

互信息估计器对比

  论文考虑了五种对比模式:

    • local-global:对比一个视角的节点编码与另一个视角的图编码;
    • global-global:对比不同视角的图编码;
    • multi-scale:对比来自一个视图的图编码与来自另一个视图的中间编码;使用 DiffPool 层计算中间编码;
    • hybrid:使用 local-global 和 global-global 模式;
    • ensemble modes:对所有视图,从相同视图对比节点和图编码。

  

修改历史

2022-03-27 创建文章
2022-06-10 精读


论文解读目录

posted @ 2022-03-27 16:25  Learner-  阅读(312)  评论(0编辑  收藏  举报