Connecting Graph Convolution and Graph PCA

目录

• 概
• 符号说明
• 本文思路

Zhao L. and Akoglu L. Connecting graph convolution and graph pca. 2022.

概

从 graph-regularized PCA 角度提出一种 GCN 的 message passing layer.

符号说明

• \(\tilde{A}\), normalized 邻接矩阵;
• \(\tilde{L}\), normalized Laplacian matrix;
• \(H^{(l)}\), 第 \(l\) 层的特征;

本文思路

• GPCA:

  \[\tag{1} \min_{Z, W} \: \|X - ZW^T\|_F^2 + \alpha \text{Tr}(Z^T \tilde{L} Z), \quad \text{s.t. } W^TW = I. \]

• 它的最优解是

  \[\tag{2} Z^* = (I + \alpha \tilde{L})^{-1} XW^* \]

  其中 \(W^*\) 的是 \(X^T (I + \alpha \tilde{L})^{-1} X\) 的前 k-largest 特征向量;

• 因为

  \[(I + \alpha \tilde{L})^{-1} \approx I - \alpha \tilde{L} = (1 - \alpha) I + \alpha \tilde{A}, \]

  故当 \(\alpha = 1\) 的时候, (2) 近似为

  \[\tilde{A}XW, \]

  相当于一次不同的 GCN layer.

• 接下来作者就是在其基础上进行拓展, 最后得到如下的 layer:
  

注意: 该算法分为预训练和再训练两步, 第一步预训练是包含 11 步的.