乌漆 WhiteMoon

摘要： 本文针对大规模推荐系统中嵌入表内存消耗过大的问题，提出了利用用户物品交互图进行嵌入表压缩的图方法 GraphHash。GraphHash 在用户物品二部图上执行基于模块度的聚类，将交互模式相似的用户和物品分配到同一个嵌入桶中，使哈希冲突发生在行为相似的实体之间，从而大幅降低冲突对推荐性能的负面影响。方法的理论基础在于模块度最大化目标与消息传递之间通过随机游走建立的内在关联，模块度聚类可以看作一种更粗粒度但更高效的嵌入平滑方式。GraphHash 采用 Louvain 等快速模块度优化算法实现，可扩展到大规模交互图，作为即插即用的替代方案直接替换传统 ID 哈希。本文还提出了 DoubleGraphHash 变体，将图聚类哈希与随机哈希结合进一步缓解冲突。在多个公开数据集上的实验表明，GraphHash 在检索任务上优于最强基线。 阅读全文

摘要： 针对 GNN 缺乏可解释性的问题，本文提出了一个自解释图神经网络模型 GraphChef 。GraphChef 的思路是将决策树集成到 GNN 消息传递框架中，使得训练完成后能生成一组人类可理解的规则（recipe），同时解释数据集中所有图的分类依据。在方法设计上，本文首先提出了一种新的 GNN 层 dish，灵感来自分布式计算中的 stone-age 模型，通过 Gumbel-Softmax 将节点内部状态从连续向量变为离散的 one-hot 类别值，使得消息聚合简化为对邻居状态的计数。随后将训练好的 dish GNN 中的所有神经网络模块蒸馏为决策树，包括编码器、各层更新函数和解码器，每个决策树的分支可以基于节点自身状态、邻居计数或状态间的比较来判断，形成层次化的可解释 recipe。本文还提出了一种剪枝方法，同时利用训练集和验证集的精度作为约束条件，在不损失或极少损失精度的前提下大幅缩减决策树规模。实验在 6 个合成数据集和 7 个真实数据集上进行，结果表明 GraphChef 的精度与 GIN 基线相当，解释质量与现有解释方法具有竞争力。 阅读全文

摘要： 针对决策树难以有效处理图结构数据的问题，本文提出了一种专为图数据设计的新型决策树 TREE-G。TREE-G 的核心设计是引入了一个新的分裂函数，该函数将节点特征沿图中的 walks 进行传播，同时通过一种指针机制动态生成候选顶点子集，使得分裂节点能够利用先前分裂中计算的信息来聚焦于图的关键子结构。TREE-G 保留标准决策树的贪心训练框架，可以直接嵌入梯度提升树（GBT）等集成方法中作为弱学习器使用。在理论层面，本文证明了 TREE-G 满足图标注任务中的排列不变性和顶点标注任务中的排列等变性，且其表达能力严格强于标准决策树，甚至可以表达 GNN 无法区分的分类规则。在实验方面，TREE-G 在 17 个图预测和顶点预测任务上全面超越其他树模型，在 10 个图分类任务中有 7 个优于GNN，在 7 个顶点分类任务中有 4 个优于GNN。此外，本文还提出了基于子集频率的可解释性机制，可以可视化模型决策过程中关注的顶点和边。 阅读全文

摘要： 针对图学习中全局感受野与计算效率之间的权衡，本文提出了一种基于森林的图学习范式 FGL，将图上的信息传播建模为在生成树森林上的传输。FGL 包含四个组件：预处理器通过伪标签增强原图连通性并提升同质性，树采样器基于同质性估计器通过加权 Wilson 算法生成偏向高同质性树的分布，树聚合器通过两次递归在单棵树上以线性时间实现二次方节点对交互，树融合器通过均值操作合并来自不同树的全局信息并补充局部知识。本文在理论上证明了同质性估计器精度与生成树分布质量之间的渐近关系，表明提升估计器精度可证明地产生更优的树分布。实验结果表明，FGL 在 9 个数据集上的平均排名为 1.22，相对于 GCNII 和 DIFFormer 分别获得 11.90% 和 16.14% 的平均相对提升，同时在训练效率上也具有显著优势。 阅读全文

摘要： 本文针对图学习中的任务异质性问题，提出了 task-trees 的概念作为统一的学习实例，用于对齐节点级、边级和图级任务。任务树的核心思想是在消息传递 GNN 中，无论任务类型如何，预测都依赖于任务相关节点的嵌入，这些节点的计算树可以通过引入一个虚拟任务节点连接起来，形成一棵统一的任务树。基于此，本文构建了 Graph Generality Identifier on Task-Trees 模型，简称 GIT，通过在多样化的任务树上以重建目标进行预训练，使模型获得可迁移的知识，再通过领域后训练实现专业化。本文还进行了理论推导，分析了任务树的稳定性、可迁移性和泛化界，为任务树作为跨任务通用学习单元提供了形式化保证。实验结果表明，GIT 在 5 个领域的 30 多个图数据集上，在 fine-tuning、上下文学习和零样本三种评估范式下均取得了优秀表现。 阅读全文

摘要： 针对消息传递 GNN 无法显式建模图子结构模式的问题，本文提出了一种直接从图子结构学习的新型框架神经图模式机 GPM。GPM 绕过了消息传递机制，通过基于随机游走的分词器高效采样图模式，计算效率高且可适配节点级、链路级和图级等多种任务。其核心思想在于随机游走的语义路径与匿名路径的组合对应于特定的图模式，基于此 GPM 分别编码语义路径和匿名路径，全面捕获图归纳偏置。编码后的图模式输入 Transformer 编码器，通过自注意力识别对下游任务起主导作用的重要模式。理论分析表明，GPM 的表达能力超越消息传递框架，可以区分 GNN 无法识别的非同构图，并能建模消息传递难以捕捉的长距离依赖。在节点分类、链路预测、图分类和图回归四类标准任务上的广泛实验表明，GPM 全面超越 SOTA 基线。进一步分析显示，GPM 具有强大的分布外泛化能力、良好的可扩展性和增强的可解释性。 阅读全文

摘要： 本文针对自解释图神经网络中解释可能与模型内部工作机制完全无关的失败场景，开展了理论分析和实证研究。在理论层面，本文证明了在温和假设下，多种代表性 SE-GNN（包括 GSAT、LRI、CAL、GMT-lin 和 SMGNN）可以在产生退化解释的同时达到最优真实风险，这些退化解释突出显示了在所有样本中反复出现的无类别判别力的模式（称为锚集）。基于理论结果，本文依次回答了三个研究问题：RQ1 证明恶意攻击者可以操纵 SE-GNN 输出与任务完全无关的伪造解释，同时保持甚至提升预测精度，攻击者可以利用这一机制隐藏模型对敏感属性的使用。RQ2 证明大多数现有忠实性度量指标无法检测到这些已知不忠实的解释，在多个数据集和模型上拒绝率接近零。RQ3 证明退化解释也可以在正常训练中自然出现，无需恶意操纵。为解决检测问题，本文提出了扩展充分性测试（EST）度量指标，通过整体考虑解释子图的所有超图来评估忠实性，在所有测试配置中始终取得最高或接近最高的拒绝率，能够可靠地将退化解释标记为不忠实。 阅读全文

摘要： 针对现有图 Transformer 架构分散、缺乏统一理论视角的问题，本文提出了一个统一的层次化掩码框架，揭示了模型架构与注意力掩码构建之间的内在等价关系。该框架将节点交互统一为节点-节点（N-N）、节点-集合（N-S）和集合-集合（S-S）三种类型，通过引入虚拟超节点将后两种等价转化为 N-N 交互，从而可以通过注意力掩码一致地建模不同层次的交互。在该框架下，本文进行了理论分析，证明正确分类概率的上下界与感受野大小和标签一致性程度正相关，由此得出注意力掩码的基本设计原则：有效的注意力掩码应同时保证足够大的感受野和较高的标签一致性。分析表明，单一掩码无法在所有场景下满足这一原则，不同层次的掩码具有互补优势。在此基础上，本文提出 一种基于混合专家的图 Transformer M3Dphormer，它采用三个层次化掩码通过双层专家路由机制自适应整合多层次交互信息，并引入双注意力计算方案根据局部掩码稀疏性动态切换稠密和稀疏模式以保证可扩展性。在九个基准数据集上的广泛实验表明，M3Dphormer 取得了 SOTA 性能，验证了统一框架和模型设计的有效性。 阅读全文

摘要： 针对大规模图上 GNN 面临的可扩展性和过平滑两大挑战，本文提出了一种可扩展的图神经网络框架 ScaleGNN，通过自适应融合多跳节点特征来实现高效且有效的图学习。ScaleGNN 包含三个主要模块：自适应高阶特征融合模块通过计算每跳纯邻居矩阵来隔离各跳的独有结构信号，并引入可学习权重动态调整不同跳数邻域的贡献；低阶增强特征聚合模块将低阶和高阶特征显式分离后融合，通过可学习平衡因子确保局部细节和全局关联的兼顾；高阶冗余特征掩码模块基于局部贡献评分（LCS）对高阶邻居进行重要性评估，选择性掩码低相关性邻居并施加可学习稀疏约束来剪枝冗余信息。在六个真实世界数据集上的实验表明，ScaleGNN 在预测精度和计算效率上均优于现有 GNN 方法，在十亿级边的 ogbn-papers100M 数据集上 Micro-F1 达到 65.69%，同时训练时间仅为最强基线的几分之一。 阅读全文

摘要： 本文针对可解释图神经网络在多粒度结构信息捕获方面的不足，提出了一种树状可解释框架（Tree-like Interpretable Framework, TIF）。TIF 将普通的 GNN 转化为层次化的树结构，树的每一层包含不同粒度的粗化图作为树节点。TIF 由三个主要模块组成：层次图粗化模块通过迭代式图粗化将原始图（树的根节点）压缩为越来越粗的图（子节点），捕获多粒度结构信息；可学习图扰动模块为每个父节点的粗化过程引入多个可学习扰动，增强树的表示多样性和鲁棒性；自适应路由模块为每个非叶节点分配路由器，动态选择从根到叶的最有信息量的路径，用于模型预测和可解释性。在五个真实世界数据集和三个合成数据集上的实验表明，TIF 在预测性能上与主流 GNN 和可解释 GNN 方法相当或更优，在解释准确率、一致性、路径一致性和路径重要性等可解释性指标上显著优于现有方法。 阅读全文