Paper Reading: Interpretable Graph Neural Networks for Tabular Data

目录

• 研究动机
• 文章贡献
• 本文方法
  • 可解释的图神经网络
  • 将表格数据点表示为图
  • 模型架构
  • IGNNet 的可解释性
• 实验结果
  • 数据集和实验设置
  • 解释性评估
  • 预测性能评估
  • 计算成本
• 优点和创新点

Paper Reading 是从个人角度进行的一些总结分享，受到个人关注点的侧重和实力所限，可能有理解不到位的地方。具体的细节还需要以原文的内容为准，博客中的图表若未另外说明则均来自原文。

论文概况	详细
标题	《Interpretable Graph Neural Networks for Tabular Data》
作者	Amr Alkhatib, Sofiane Ennadir, Henrik Boström, Michalis Vazirgiannis
发表会议	27th European Conference on Artificial Intelligence（ECAI 2024）
发表年份	2024
会议等级	CCF-B
论文代码	https://github.com/amrmalkhatib/ignnet

作者单位：

1. KTH Royal Institute of Technology Electrum 229, 164 40 Kista, Stockholm, Sweden
2. DaSciM, LIX, École Polytechnique, Institut Polytechnique de Paris, France

研究动机

表格数据是现实世界应用（如金融、医疗、科学领域）中最常见的数据格式之一，树模型（如 XGBoost、随机森林）和深度神经网络在处理这类数据时表现出色，但通常缺乏可解释性。在医疗诊断、法律判决、信用评估等高风险领域，模型预测不仅需要高精度，还必须提供透明、可信的解释，以满足法规和伦理要求。现有方法的局限性有：

算法类型	典型工作	局限性
可解释模型	逻辑回归、决策树	虽能提供清晰的预测逻辑，但其预测性能通常显著低于复杂的黑盒模型。
后验解释技术	SHAP、LIME	试图为黑盒模型生成事后解释，但在大规模数据或复杂模型上，计算 Shapley 值等解释成本高昂。生成的解释可能与模型实际推理过程不一致，缺乏理论保证。

近年来的研究（如 TabGNN、TabularNet 等）尝试将 GNN 应用于表格数据，利用其强大的关系建模能力捕捉特征间交互。然而这些方法仍输出黑盒模型，无法满足高信任度场景的需求。因此，论文旨在解决的问题是：如何在保持与先进黑盒模型相当预测性能的同时，为表格数据学习一个完全透明的、可解释的模型？

文章贡献

针对现有可解释模型性能不足、运行效率低、可靠性低的问题，本文提出了一种用于处理表格数据的可解释图神经网络模型 IGNNet。它将传统表格数据中的每个数据实例转换成一个图结构，其中每个特征对应一个图节点，特征之间的线性相关关系（皮尔逊相关系数）构成图的边权重。在此基础上，IGNNet 通过一个经过特殊约束的图神经网络进行学习，并在最终输出层采用一个完全透明的线性分类器。这使得模型在做出预测的同时，能够精确地、可回溯地展示每个输入特征对最终预测结果的具体贡献，从而实现了内在可解释性，无需依赖计算成本高昂且保真度不保证的后验解释方法。在 35 个公开数据集上进行了大规模实证研究，从解释质量和预测性能两个维度全面评估 IGNNet，验证了其在保持高性能的同时，能提供高保真的解释。

本文方法

本文提出利用 GNN 生成可解释模型的方法 IGNNet，核心思想是将表格数据转换为图，然后通过一个经过特殊设计的、透明的 GNN 来处理，使得模型的预测可以像线性模型那样，被精确地回溯到原始输入特征。

可解释的图神经网络

IGNNet 首先基于一个通用的 GNN 分类框架，并对其进行约束以实现可解释性。GNN 的输入是一个图 \(\mathcal{G}=(V, E, X, A)\)，其处理首先进行消息传递，即每个节点聚合来自邻居的信息以更新自身表示。计算公式近似为：

\[h_i^{(l+1)}=\varphi\left(w^{(l)}\left(\delta_{i, i} h_i^{(l)}+\sum_{u\in\mathcal{N}(i)}\delta_{i, u} h_u^{(l)}\right)\right) \]

其中，相关符号和含义如下表所示：

符号	含义
\(h_i^{(l)}\)	节点 \(v_i\) 在第 \(l\) 层的表示
\(\delta\)	邻接矩阵 \(A\) 中的边权重
\(\varphi\)	非线性激活函数

接着聚合所有节点的表示进行图池化，形成一个代表整个图的向量。IGNNet 对上述框架进行了修改，使其具备可解释性。它设计了一个特殊的池化函数，将每个节点的最终多维表示 \(h_i^{(l+1)}\) 通过一个线性映射 \(\mathcal{R}\) 压缩为一个标量 \(g_i\)。此时整个图的表示 \(g\) 就是一个向量，其中每个标量元素对应一个节点（即一个原始特征）。最终的预测通过一个透明的线性分类层（如逻辑回归）做出：

\[\hat{y}=\operatorname{link}\left(\sum_{i=1}^{n} w_{i} g_{i}\right) \]

其中，相关符号和含义如下表所示：

符号	含义
\(w_i\)	该节点对应的权重
\(\operatorname{link}\)	sigmoid 或 softmax 等链接函数

由于 \(g_i\) 直接源于节点的最终表示，而 \(w_i\) 是线性权重，因此可以精确追踪每个节点（即每个原始特征）对预测结果 \(\hat{y}\) 的贡献。

将表格数据点表示为图

为了应用上述可解释 GNN，IGNNet 将每个表格数据实例转换为一个图：

图构建	说明
节点	每个特征对应一个节点，节点的初始特征 \(x_i\) 就是该特征的（归一化后）数值
边	特征之间的线性相关性（皮尔逊相关系数）作为边的权重，构成邻接矩阵 \(A\)
自环	为每个节点设置高权重的自环，以确保特征自身的信息在多层消息传递中不会消失

算法流程如 Algorithm 1 所示，对于每个数据实例首先将其转换为图，然后通过多个消息传递层更新节点表示，接着通过可解释的池化函数得到图表示 \(g\)，最后用线性分类层输出预测 \(\hat{y}\)。整个过程端到端训练。

模型架构

IGNNet 架构包含 6 个消息传递层，使用 ReLU 激活、批量归一化和跳跃连接。消息传递后通过一个前馈神经网络（FNN，8 层，无隐藏层激活函数）将每个节点的多维表示线性压缩为单个标量值，然后应用 sigmoid 函数。这些标量被拼接后，通过一个透明的线性权重层产生最终预测。

同时将引入一个黑盒变体 OGNNet，它将 FNN 和线性输出层替换为一个单隐藏层的 MLP 用于消融研究，以量化为可解释性而设计所带来的性能损失。

IGNNet 的可解释性

IGNNet 的设计平衡了性能和可解释性。具有注入性聚合方案的 GNN 可以区分复杂的图结构，并能将相似结构映射到相似表示。当表格数据被恰当转换为图后，GNN 能够建模特征之间复杂的非线性和交互关系，从而学习从输入到预测的复杂映射。论文指出，基于 1-Lipschitz 连续激活函数的 GNN（如 GCN、GAT）在适当的归一化下可以提高稳定性和对抗鲁棒性，对处理可能存在噪声或不完整数据的表格应用很重要。
仅凭可解释的池化层和输出层不足以保证整个模型的可解释性。IGNNet 通过对消息传递层施加约束来确保中间过程也保持透明：

IGNNet 可解释约束	说明
条件 1	每个原始特征在整个网络中始终由一个独立的节点表示。
条件 2	每个节点具有高权重的自环，以传递其主要信息。
条件 3	每个节点只与特定的邻居（由相关性定义）进行交互。
消息传递机制	消息的传递强度与特征间的线性相关性成正比，符号也与相关性一致，确保了聚合后的消息依然能保留与输入特征值相关的意义。

通过将表格数据转换为相关图，并利用受约束的消息传递层与透明的池化/输出层相结合，IGNNet 使得 GNN 的黑盒内部工作过程变得可追踪。用户可以从最终预测开始，沿着权重 \(w_i\)、节点标量 \(g_i\)，一路通过消息传递层，回溯到原始的输入特征值，从而理解预测是如何计算出来的。

实验结果

数据集和实验设置

在 35 个公开数据集上进行实验，涵盖二元和多分类任务，数据集来自 OpenML 平台。

对比算法包括：XGBoost, Random Forests, MLP, TabNet，评估指标为 AUC。使用训练集计算的皮尔逊相关系数作为边权重，设定相关性阈值（通常为 0.2），低于此值的边被移除。除非所有相关性都很低，则使用 0.05 的阈值。为每个节点添加高权重的自环，占该节点加权和的 70%-90%，以确保其自身信息不丢失。分类特征使用独热编码，所有特征值进行 0-1 归一化。对于不平衡数据集，在训练时对少数类进行随机过采样。

解释性评估

为了验证 IGNNet 生成的特征贡献分（即 \(\tau_i\) ）是否反映了真实的特征重要性，将其与 KernelSHAP（一种理论上能逼近真实 Shapley 值的后验解释方法）的计算结果进行对比。如果 IGNNet 的贡献分是真实贡献的有效度量，那么随着 KernelSHAP 使用的样本数增加，两者的结果应该越来越相似。
在 35 个数据集的测试集上随机抽取 500 个样本，计算 IGNNet 贡献分与 KernelSHAP 解释之间的余弦相似度和斯皮尔曼等级相关系数。实验结果显示，随着 KernelSHAP 采样迭代的增加，其解释与 IGNNet 贡献分的相似性普遍提高。这表明IGNNet提供的特征贡献分与真实的 Shapley 值高度一致，且这种解释是在模型前向传播中“免费”获得的，无需额外的昂贵计算。

论文通过 Adult 数据集的一个具体预测实例，直观展示 IGNNet 的解释如何工作。如图所示，IGNNet 为一个预测为收入 ≤50K 的样本输出了各特征的贡献分（\(\tau_i\)）。贡献分以偏差值为中心显示，其总和经 sigmoid 函数后即得预测概率。可见特征 capital-gain 拥有最大的负向贡献，当将该特征值从 2885（较低）增加到 6000（仍低于一个标准差）而保持其他特征不变时，模型的预测翻转为 收入>50K，且 capital-gain 的贡献分从 -3.67 变为 -0.82。这动态验证了 IGNNet 解释的忠实性，即用户可以根据解释调整特征值来观察预测的相应变化。

预测性能评估

下表展示了所有模型在 35 个数据集上的 AUC 分数，可见 IGNNet 的表现与 XGBoost、Random Forests、TabNet 和 MLP 等先进算法相当。与黑盒变体 OGNNet 相比，IGNNet 并未造成预测性能的显著下降，同时保持了完全的可解释性。

Friedman 检验和 Nemenyi 事后检验结果显示，虽然 IGNNet、OGNNet、XGBoost 等排名靠前，但任何两两算法之间的性能差异在统计上并不显著。

计算成本

IGNNet 的计算成本取决于 GNN 架构的复杂度和数据集的特征数量（即图的节点数）。与常规 GNN 相比，IGNNet 的可解释性设计并未引入额外的计算开销。推理时间与图的规模（节点和非零边数量）相关。

优点和创新点

个人认为，本文有如下一些优点和创新点可供参考学习：

1. IGNNet 是一个为表格数据设计的、可解释的 GNN 模型，其预测计算过程完全透明，可直接输出特征贡献分。因为无需事后解释，消除了后验方法在计算开销和解释保真度上的问题。
2. 提出了将表格数据转换为特征相关性图的方法，通过对 GNN 的消息传递和池化层施加特定约束（如高权重自环、线性映射输出），将 GNN 的图学习能力与线性模型的可解释性融合于一个端到端的框架中。