Hierarchical Vector Quantized Graph Autoencoder with Annealing-Based Code Selection-阅读报告

1.Intro

HQA-GAE 是一篇将VQ-VAE扩展到图自监督学习（Graph Self-Supervised Learning, GSSL）的工作。这篇论文本身是研究图数据应用Codebook的, 但是其中得到的一些结论是相通的。

• VQ-VAE 的优势： 通过将编码特征映射到学习到的 Codebook 中的离散向量来学习离散表示，而且在图像、音频、视频生成中取得了成功。

• 应用图数据的挑战： 当 VQ-VAE 应用于图数据时，面临两个限制模型表达能力和泛化能力的挑战：Codebook 空间利用不足和 Codebook 空间稀疏性。

HQA-GAE 旨在通过引入两种创新机制来解决这些挑战，从而****增强模型捕获图拓扑结构的能力。

阅读动机: Codebook, 而且把图片用GNN表示成图的形式也的确未尝不可。

2. VQ 对图拓扑结构的增强作用

HQA-GAE 首先通过实证分析验证了一个关键观点，这对于我们项目也很重要：矢量量化（VQ）模块的引入可以显著提高模型捕获图拓扑结构的能力。 证明就是作者验证发现: 即使Encoder用简单的多层感知机（MLP）作为编码器（MLP 不会显式地捕获结构信息），当在编码器和解码器之间嵌入 VQ 模块后（即 VQ-GAE），其性能仍优于正常的图自编码器（GAE）。

• 原理： VQ 通过强制将特征相似的节点量化到相同的码字中(也就是之前提到的类聚类)，迫使模型在重建损失（包括节点特征和边连接的重建）中，必须利用节点之间的结构差异来进行准确重建(这点感觉挺重要的)。这个过程鼓励encoder注入更有用的拓扑信息到学习到的表示中。

3. 核心创新机制

HQA-GAE 提出了两种机制来解决 VQ-VAE 在图数据上的固有缺陷：

A. 退火编码选择策略（Annealing-Based Code Selection）：解决codebook利用不足

传统 VQ 的“赢者通吃”原则导致 Codebook 中许多离散码字未被使用（即利用不足或 Codebook 崩溃）。HQA-GAE 提出了一种类似于模拟退火的方法, 早期阶段，模型被鼓励探索更广泛的可用码字（强制利用更多 Code），随着训练的进行，模型逐渐集中于最有效的 Code。

• 优势： 相比于 Gumbel-Softmax 等方法可能引入的随机性导致梯度更新不稳定，退火策略在实验中可能产生更令人满意的结果。

B. 分层 Codebook 机制（Hierarchical Codebook）：解决空间稀疏性

传统的单层 Codebook 缺乏明确关系， Codebook 码字之间关系稀疏，不利于捕获复杂的关系。因此HQA-GAE 引入了两层分层 Codebook。第二层 Codebook充当第一层 Codes 的聚类中心。通过这种层次结构，具有相似嵌入的第一层 Codes 被连接起来。(如图)

• 优势： 这鼓励模型为具有相似特征和结构拓扑的节点学习更接近的嵌入。实验结果显示，分层 Codebook 优于单层版本，因为它将相似节点拉得更近，同时增加了不相似节点之间的分离度，提供了更具信息量的表示基础。可视化结果也显示，第二层 Codes 确实充当了第一层 Codes 的聚类中心。

4. 训练目标与性能

• 损失函数组成： 模型的总损失包括重建损失（涵盖节点特征重建 $L_{NodeRec} 和边连接重建 L_{EdgeRec}$,见下图）和矢量量化损失（VQ Loss，包括 Codebook Loss 和 Commitment Loss,就是VQ-VAE一样的）。其中，Commitment Loss 确保encoder输出与选定的 Codebook 向量保持接近，防止编码器漂移。

• 性能： HQA-GAE 在链接预测和节点分类任务上表现出色，通常优于 16 种代表性基线方法。例如，在 Physcis 数据集上，HQA-GAE 在实现最高性能的同时，相比于其他高性能竞争者，保持了相对较小的模型尺寸和高效的预训练时间。在 Codebook 利用率方面，HQA-GAE 的困惑度（Perplexity）在 Codebook 尺寸固定为 512 时，优于许多baseline，显示了其鲁棒性。

--------------------------------------------------------------------------------

总结与项目指导意义

HQA-GAE 的核心在于利用 Codebook 进行结构化聚类和信息增强：

1. 分层结构指导关系传递： 感觉HQA-GAE 的分层 Codebook 机制是一个好想法，即如何设计 codebook 来编码子图之间的“相似关系”（也是验证最开始那个引入codebook的动机）。通过第二层 Codebook，可以确保具有相似局部结构和特征的子图，在离散空间中保持更近的距离，从而实现关系一致性。
2. 鲁棒性和多样性： HQA-GAE 的退火选择策略（或其他替代方案如 RGVQ 中的 Gumbel-Softmax），解决了 Codebook 崩溃问题，保证了 Codebook 能够捕捉多样化的结构模式，这对于从单张输入大图（数据量小）中提取鲁棒的先验知识至关重要。