随笔分类 - Paper Reading
摘要：本文针对大规模推荐系统中嵌入表内存消耗过大的问题，提出了利用用户物品交互图进行嵌入表压缩的图方法 GraphHash。GraphHash 在用户物品二部图上执行基于模块度的聚类，将交互模式相似的用户和物品分配到同一个嵌入桶中，使哈希冲突发生在行为相似的实体之间，从而大幅降低冲突对推荐性能的负面影响。方法的理论基础在于模块度最大化目标与消息传递之间通过随机游走建立的内在关联，模块度聚类可以看作一种更粗粒度但更高效的嵌入平滑方式。GraphHash 采用 Louvain 等快速模块度优化算法实现，可扩展到大规模交互图，作为即插即用的替代方案直接替换传统 ID 哈希。本文还提出了 DoubleGraphHash 变体，将图聚类哈希与随机哈希结合进一步缓解冲突。在多个公开数据集上的实验表明，GraphHash 在检索任务上优于最强基线。
阅读全文
摘要：针对 GNN 缺乏可解释性的问题，本文提出了一个自解释图神经网络模型 GraphChef 。GraphChef 的思路是将决策树集成到 GNN 消息传递框架中，使得训练完成后能生成一组人类可理解的规则（recipe），同时解释数据集中所有图的分类依据。在方法设计上，本文首先提出了一种新的 GNN 层 dish，灵感来自分布式计算中的 stone-age 模型，通过 Gumbel-Softmax 将节点内部状态从连续向量变为离散的 one-hot 类别值，使得消息聚合简化为对邻居状态的计数。随后将训练好的 dish GNN 中的所有神经网络模块蒸馏为决策树，包括编码器、各层更新函数和解码器，每个决策树的分支可以基于节点自身状态、邻居计数或状态间的比较来判断，形成层次化的可解释 recipe。本文还提出了一种剪枝方法，同时利用训练集和验证集的精度作为约束条件，在不损失或极少损失精度的前提下大幅缩减决策树规模。实验在 6 个合成数据集和 7 个真实数据集上进行，结果表明 GraphChef 的精度与 GIN 基线相当，解释质量与现有解释方法具有竞争力。
阅读全文
摘要：针对决策树难以有效处理图结构数据的问题，本文提出了一种专为图数据设计的新型决策树 TREE-G。TREE-G 的核心设计是引入了一个新的分裂函数，该函数将节点特征沿图中的 walks 进行传播，同时通过一种指针机制动态生成候选顶点子集，使得分裂节点能够利用先前分裂中计算的信息来聚焦于图的关键子结构。TREE-G 保留标准决策树的贪心训练框架，可以直接嵌入梯度提升树（GBT）等集成方法中作为弱学习器使用。在理论层面，本文证明了 TREE-G 满足图标注任务中的排列不变性和顶点标注任务中的排列等变性，且其表达能力严格强于标准决策树，甚至可以表达 GNN 无法区分的分类规则。在实验方面，TREE-G 在 17 个图预测和顶点预测任务上全面超越其他树模型，在 10 个图分类任务中有 7 个优于GNN，在 7 个顶点分类任务中有 4 个优于GNN。此外，本文还提出了基于子集频率的可解释性机制，可以可视化模型决策过程中关注的顶点和边。
阅读全文
摘要：针对图学习中全局感受野与计算效率之间的权衡，本文提出了一种基于森林的图学习范式 FGL，将图上的信息传播建模为在生成树森林上的传输。FGL 包含四个组件：预处理器通过伪标签增强原图连通性并提升同质性，树采样器基于同质性估计器通过加权 Wilson 算法生成偏向高同质性树的分布，树聚合器通过两次递归在单棵树上以线性时间实现二次方节点对交互，树融合器通过均值操作合并来自不同树的全局信息并补充局部知识。本文在理论上证明了同质性估计器精度与生成树分布质量之间的渐近关系，表明提升估计器精度可证明地产生更优的树分布。实验结果表明，FGL 在 9 个数据集上的平均排名为 1.22，相对于 GCNII 和 DIFFormer 分别获得 11.90% 和 16.14% 的平均相对提升，同时在训练效率上也具有显著优势。
阅读全文
摘要：本文针对图学习中的任务异质性问题，提出了 task-trees 的概念作为统一的学习实例，用于对齐节点级、边级和图级任务。任务树的核心思想是在消息传递 GNN 中，无论任务类型如何，预测都依赖于任务相关节点的嵌入，这些节点的计算树可以通过引入一个虚拟任务节点连接起来，形成一棵统一的任务树。基于此，本文构建了 Graph Generality Identifier on Task-Trees 模型，简称 GIT，通过在多样化的任务树上以重建目标进行预训练，使模型获得可迁移的知识，再通过领域后训练实现专业化。本文还进行了理论推导，分析了任务树的稳定性、可迁移性和泛化界，为任务树作为跨任务通用学习单元提供了形式化保证。实验结果表明，GIT 在 5 个领域的 30 多个图数据集上，在 fine-tuning、上下文学习和零样本三种评估范式下均取得了优秀表现。
阅读全文
摘要：针对消息传递 GNN 无法显式建模图子结构模式的问题，本文提出了一种直接从图子结构学习的新型框架神经图模式机 GPM。GPM 绕过了消息传递机制，通过基于随机游走的分词器高效采样图模式，计算效率高且可适配节点级、链路级和图级等多种任务。其核心思想在于随机游走的语义路径与匿名路径的组合对应于特定的图模式，基于此 GPM 分别编码语义路径和匿名路径，全面捕获图归纳偏置。编码后的图模式输入 Transformer 编码器，通过自注意力识别对下游任务起主导作用的重要模式。理论分析表明，GPM 的表达能力超越消息传递框架，可以区分 GNN 无法识别的非同构图，并能建模消息传递难以捕捉的长距离依赖。在节点分类、链路预测、图分类和图回归四类标准任务上的广泛实验表明，GPM 全面超越 SOTA 基线。进一步分析显示，GPM 具有强大的分布外泛化能力、良好的可扩展性和增强的可解释性。
阅读全文
摘要：本文针对自解释图神经网络中解释可能与模型内部工作机制完全无关的失败场景，开展了理论分析和实证研究。在理论层面，本文证明了在温和假设下，多种代表性 SE-GNN（包括 GSAT、LRI、CAL、GMT-lin 和 SMGNN）可以在产生退化解释的同时达到最优真实风险，这些退化解释突出显示了在所有样本中反复出现的无类别判别力的模式（称为锚集）。基于理论结果，本文依次回答了三个研究问题：RQ1 证明恶意攻击者可以操纵 SE-GNN 输出与任务完全无关的伪造解释，同时保持甚至提升预测精度，攻击者可以利用这一机制隐藏模型对敏感属性的使用。RQ2 证明大多数现有忠实性度量指标无法检测到这些已知不忠实的解释，在多个数据集和模型上拒绝率接近零。RQ3 证明退化解释也可以在正常训练中自然出现，无需恶意操纵。为解决检测问题，本文提出了扩展充分性测试（EST）度量指标，通过整体考虑解释子图的所有超图来评估忠实性，在所有测试配置中始终取得最高或接近最高的拒绝率，能够可靠地将退化解释标记为不忠实。
阅读全文
摘要：针对现有图 Transformer 架构分散、缺乏统一理论视角的问题，本文提出了一个统一的层次化掩码框架，揭示了模型架构与注意力掩码构建之间的内在等价关系。该框架将节点交互统一为节点-节点（N-N）、节点-集合（N-S）和集合-集合（S-S）三种类型，通过引入虚拟超节点将后两种等价转化为 N-N 交互，从而可以通过注意力掩码一致地建模不同层次的交互。在该框架下，本文进行了理论分析，证明正确分类概率的上下界与感受野大小和标签一致性程度正相关，由此得出注意力掩码的基本设计原则：有效的注意力掩码应同时保证足够大的感受野和较高的标签一致性。分析表明，单一掩码无法在所有场景下满足这一原则，不同层次的掩码具有互补优势。在此基础上，本文提出 一种基于混合专家的图 Transformer M3Dphormer，它采用三个层次化掩码通过双层专家路由机制自适应整合多层次交互信息，并引入双注意力计算方案根据局部掩码稀疏性动态切换稠密和稀疏模式以保证可扩展性。在九个基准数据集上的广泛实验表明，M3Dphormer 取得了 SOTA 性能，验证了统一框架和模型设计的有效性。
阅读全文
摘要：针对大规模图上 GNN 面临的可扩展性和过平滑两大挑战，本文提出了一种可扩展的图神经网络框架 ScaleGNN，通过自适应融合多跳节点特征来实现高效且有效的图学习。ScaleGNN 包含三个主要模块：自适应高阶特征融合模块通过计算每跳纯邻居矩阵来隔离各跳的独有结构信号，并引入可学习权重动态调整不同跳数邻域的贡献；低阶增强特征聚合模块将低阶和高阶特征显式分离后融合，通过可学习平衡因子确保局部细节和全局关联的兼顾；高阶冗余特征掩码模块基于局部贡献评分（LCS）对高阶邻居进行重要性评估，选择性掩码低相关性邻居并施加可学习稀疏约束来剪枝冗余信息。在六个真实世界数据集上的实验表明，ScaleGNN 在预测精度和计算效率上均优于现有 GNN 方法，在十亿级边的 ogbn-papers100M 数据集上 Micro-F1 达到 65.69%，同时训练时间仅为最强基线的几分之一。
阅读全文
摘要：本文针对可解释图神经网络在多粒度结构信息捕获方面的不足，提出了一种树状可解释框架（Tree-like Interpretable Framework, TIF）。TIF 将普通的 GNN 转化为层次化的树结构，树的每一层包含不同粒度的粗化图作为树节点。TIF 由三个主要模块组成：层次图粗化模块通过迭代式图粗化将原始图（树的根节点）压缩为越来越粗的图（子节点），捕获多粒度结构信息；可学习图扰动模块为每个父节点的粗化过程引入多个可学习扰动，增强树的表示多样性和鲁棒性；自适应路由模块为每个非叶节点分配路由器，动态选择从根到叶的最有信息量的路径，用于模型预测和可解释性。在五个真实世界数据集和三个合成数据集上的实验表明，TIF 在预测性能上与主流 GNN 和可解释 GNN 方法相当或更优，在解释准确率、一致性、路径一致性和路径重要性等可解释性指标上显著优于现有方法。
阅读全文
摘要：针对 LLM 在表格推理任务中因文本序列化丢失结构信息的问题，本文提出了将表格作为一种独立的模态集成到 LLM 中的 TAMO 框架。TAMO 使用超图增强的表格编码器来学习表格的结构表示，通过超图建模表格的层次结构和排列不变性，然后通过一个对齐投影器将结构表示注入到 LLM 的语义空间中，与序列化文本和问题一起进行自回归推理。在训练时可以选择冻结 LLM 参数，仅学习表格编码器和对齐层。实验在 StructQA、HiTab、WikiTQ、WikiSQL、FeTaQA 五个表格推理数据集上验证了 TAMO 的有效性，在冻结 LLM 设置下相比纯文本模态平均提升 42.65%，在微调设置下也 consistently 优于纯文本方案，并且基于 Llama2-7B 的 TAMO 在结构推理任务上超过了 GPT-4.1 和 DeepSeek-R1。
阅读全文
摘要：针对现有自监督图学习方法缺乏对图的层次结构和多尺度上下文的显式建模的问题，本文提出了一个将树分解引入自监督图学习的框架 TopDsl。TopDsl 将树分解既作为结构先验又作为计算支架，输入图首先被分解为 bag 树结构，然后据此计算结构重要性分数，用于指导模型的增广策略和损失函数，最终生成鲁棒的图表示。图到树的分解策略将输入图分解为树结构，其中每个 bag 捕捉重叠的局部结构上下文，提供了从局部邻域到全局拓扑的自然层次。上下文感知的重要性评估通过 bag 内的接近中心性（节点）和局部边介数（边）计算上下文感知的重要性分数，并跨 bag 聚合，能够识别全局度量忽略的局部结构桥等关键元素。自适应增广策略将结构重要性和属性稳定性分数转化为扰动概率，自适应地扰动节点、边和特征，在保留语义一致邻域的同时允许有意义的变化。新的结构相似性损失融合了基于图的邻近性（PPR）和基于树分解 bag 共现的相似性，使对比学习同时捕捉扁平拓扑关系和层次结构关系。在多个基准数据集上的实验表明，TopDsl 优于当前最优的基线方法。
阅读全文
摘要：针对现有方法（如因子分解机、Transformer）假设变量间为稠密交互、视角单一的局限性，本文提出双路由结构自适应图网络 DRSA-Net，其核心在于将无显式结构的表格数据建模为一个可学习的稀疏图上的消息传递问题。具体而言，模型首先通过低秩分解和 Top-K 操作，自适应地学习特征变量之间的最优稀疏图结构，从而精确控制交互的复杂性。在此基础上，模型设计了双路由注意力消息传递规则，同时从学得的图拓扑结构和基于注意力分数的特征相似性这两个互补的视角，来聚合信息并刻画变量间复杂的非线性交互。最终，通过一个分层聚合的读出函数得到样本的表示以进行预测。理论分析表明，经典的多层感知机和因子分解机均可视为该模型在完全图结构下的特例。通过大量实验验证了其有效性，消融实验、案例分析和复杂性评估共同表明，该模型在性能、效率、可解释性方面达到了良好的平衡。
阅读全文
摘要：针对多病共存患者的重症风险预测难题，本文提出了一种名为 GATET 的混合神经网络模型。该模型的核心在于将 GAT 与 TabNet 融合，主要包含三个模块：依赖特征提取模块依据医学先验知识（如年龄）将患者样本构建并划分为依赖子图；注意力聚合构图模块在子图内使用图注意力机制聚合节点信息，以捕获复杂的样本间关系；特征加权模块则利用简化的 TabNet 计算特征重要性权重。三个模块协同有效应对了医疗表格数据中特征依赖关系复杂、样本关联缺失这两大挑战，在提升预测精度的同时保持了模型的可解释性。利用来自一家三甲医院的真实临床电子健康记录数据构建了数据集，实验表明 GATET 在多个指标上优于多种传统机器学习与前沿深度学习基线模型，并通过消融实验证实了各模块的必要性。
阅读全文
摘要：本文提出了一个名为 INCE 的表格深度学习模型，其核心创新在于用 GNN 实现交互网络，用作表格特征的上下文嵌入器。模型将每个表格行转换为一个全连接图，其中每个节点对应一个特征的嵌入表示，并引入一个虚拟 CLS 节点。随后，一个 IN 层堆栈通过消息传递机制，动态地学习和更新图中所有节点（特征）之间连接的强度，从而建模复杂的特征交互。经过 IN 增强后的 CLS节点的最终表示，被用作整个表格行的上下文感知的全局嵌入，并送入一个 MLP 解码器进行预测。通过在公开数据集上与多个 baselines 的广泛对比实验，证明了 INCE 模型在深度学习模型中达到了最佳平均性能，并能与树模型形成有力竞争。
阅读全文
摘要：本文提出了一个名为 Table2Graph 的框架，旨在将表格数据的特征交互建模问题转化为一个统一的加权图学习问题。其核心模型通过学习一个全局共享的概率邻接矩阵来显式地编码所有特征列之间的交互强度。为了解决图学习过程中的不稳定性和稀疏性控制难题，模型引入了强化学习策略以稳定地强化对提升预测性能至关重要的关键交互连接，并设计了一个可微的稀疏性约束损失来正则化图的连接结构，避免其过于平滑或稀疏。最终，模型在一个包含预测任务损失、强化损失和稀疏性约束损失的联合损失函数指导下，端到端地训练出这个统一图及相应的图神经网络模型，以实现高效且准确的预测。通过在多个真实世界和合成数据集上进行的广泛实验，本文严谨地验证了该框架的有效性、效率和可解释性。
阅读全文
摘要：针对表格数据自动语义结构理解中的挑战，本文提出了一种名为 TabularNet 的神经网络架构，其核心在于同时建模了表格的空间信息和关系信息。TabularNet 采用了双重数据表示，将表格视为矩阵以利用空间敏感操作，并使用基于 WordNet 词汇树的语义图构建方法来表示单元格间的复杂关系。模型的主体由一个可堆叠的结构信息挖掘层构成，它集成了两个并行编码器：空间信息编码器结合了能敏感捕捉区域交界的行/列双向门控循环单元，以及用于提取统计特征的行/列平均池化；关系信息编码器在 WordNet 语义图上应用图卷积网络，以捕获层次与并列关系。TabularNet 被设计为一个统一的骨干网络，其输出的嵌入表示可通过简单的集成（如拼接、池化）适配于单元格级分类、行/列级检测等多种任务，并支持多任务学习。通过在 2 个大规模的真实电子表格数据集上进行单元格角色分类和表头区域检测实验，本文全面评估了 TabularNet 的有效性、通用性和组件必要性。
阅读全文
摘要：针对现有可解释模型性能不足、运行效率低、可靠性低的问题，本文提出了一种用于处理表格数据的可解释图神经网络模型 IGNNet。它将传统表格数据中的每个数据实例转换成一个图结构，其中每个特征对应一个图节点，特征之间的线性相关关系（皮尔逊相关系数）构成图的边权重。在此基础上，IGNNet 通过一个经过特殊约束的图神经网络进行学习，并在最终输出层采用一个完全透明的线性分类器。这使得模型在做出预测的同时，能够精确地、可回溯地展示每个输入特征对最终预测结果的具体贡献，从而实现了内在可解释性，无需依赖计算成本高昂且保真度不保证的后验解释方法。在 35 个公开数据集上进行了大规模实证研究，从解释质量和预测性能两个维度全面评估 IGNNet，验证了其在保持高性能的同时，能提供高保真的解释。
阅读全文
摘要：针对深度学习方法处理表格数据时忽视特征异质性的问题，本文提出了一种名为异质特征交互网络的图神经网络模型 HFIN。模型首先对数值、类别、二值特征进行分离嵌入，并优化了数值特征的嵌入方法。然后将异质列特征视为图中不同类型的节点，通过互信息与对称矩阵分解学习特征交互的图结构。并设计了包含关系内注意力和关系间注意力的双层消息传递机制，以动态捕捉和区分不同类型特征间的交互模式，从而有效利用表格数据中的异质信息。通过在六个公共数据集上的实验，验证了该模型在分类和回归任务上优于多数深度表格学习模型，并通过消融实验证明了各模块的有效性。
阅读全文
摘要：针对经典决策树的不可微性和较低测试精度两个瓶颈，本文提出了一种名为 RADDT 的可微硬斜决策树模型。其核心是通过 ReLU + Argmin 的数学重构，将不可微的硬决策树训练问题转化为一个可微的无约束优化问题。首先，本文提出了 ReLU+Argmin 的重构方法，用 ReLU 函数量化样本在决策路径上的违规值，并用 Argmin 操作识别唯一零违规路径，从而在不引入任何软决策的前提下，为硬决策树建立了一个精确的数学表达。接着，为了解决重构中 Argmin 不可微的问题，采用缩放 Softmin 函数在训练时近似，并设计了多轮热启动退火策略来平衡近似精度与优化稳定性。最终，基于此重构构建了名为 RADDT 的可微决策树训练框架，实现了对整个决策树参数的梯度优化。大量实验表明，该方法不仅测试精度显著超越了包括 CART、ORT-LS 在内的多种基线决策树，甚至能与 RF、XGBoost 等集成方法媲美，并且展现出强大的可扩展性。
阅读全文
浙公网安备 33010602011771号