Paper Reading: Deep Tabular Data Modeling With Dual-Route Structure-Adaptive Graph Networks

目录

• 论文概况
• 研究动机
• 文章贡献
• 预备知识
  • 因子分解机
  • 消息传递神经网络
• 本文方法
  • 问题定义
  • 结构自适应稀疏图学习
  • 双路由注意力消息传递
  • 最终非线性表示
  • 表达能力分析
• 实验结果
  • 数据集和实验设置
  • 对比实验
  • 可解释性
  • 消融实验
  • 参数敏感性分析
  • 计算复杂度分析
  • 收敛性分析
• 优点和创新点

Paper Reading 是从个人角度进行的一些总结分享，受到个人关注点的侧重和实力所限，可能有理解不到位的地方。具体的细节还需要以原文的内容为准，博客中的图表若未另外说明则均来自原文。

论文概况

论文概况	详细
标题	《Deep Tabular Data Modeling With Dual-RouteStructure-Adaptive Graph Networks》
作者	Qinghua Zheng, Zhen Peng, Zhuohang Dang, Linchao Zhu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou
发表期刊	IEEE Transactions on Knowledge and Data Engineering（TKDE）
发表年份	2023
期刊等级	新锐期刊分区表（2026 年 3 月）2 区 TOP，CCF-A
论文代码	文中未公开

作者单位：

1. Ministry of Education Key Laboratory of Intelligent Networks and Network Security, National Engineering Laboratory for Big Data Analytics, School of Computer Science and Technology, Xi’an Jiaotong University, Xi’an 710049, China.
2. College of Computer Science and Technology, Zhe jiang University, Hangzhou 310058, China.
3. AI Department, Ant Group, Hangzhou, Zhejiang 310013, China.

研究动机

如卷积神经网络、循环神经网络和 Transformer 的深度架构，在图像、自然语言、语音和时间序列等结构化数据上取得了巨大成功。这得益于它们融入了与数据特性相关的归纳偏置，例如 CNN 的局部性偏置使其擅长处理图像的 2D 空间结构。然而，这些成功主要建立在对具有显式内在结构的数据的建模之上，如图像的像素空间排列、文本的词序。现实世界中存在大量无显式空间或顺序结构的表格数据，它们以 d 维特征向量的形式存在。如推荐系统、网络安全、基准机器学习数据集中的特征向量，这类数据打破了 CNN、RNN 等大多数神经网络的归纳偏置，使得针对图像、文本设计的深度模型难以直接、高效地应用于表格数据。现有表格数据方法的存在以下不足：

现有方法	局限性
因子分解机及其变体	通过低秩嵌入显式建模所有变量对之间的交互。但这种方法刚性学习任意两变量间的交互，忽略了关系结构的稀疏性，导致计算开销大，且难以扩展到高阶交互，冗余交互还可能成为噪声影响性能。
梯度提升决策树	在表格数据上通常表现出优越性能，但难以与神经网络集成以处理多模态问题，也无法适应半监督学习等场景。
稠密结构假设	将变量间的未知依赖建模为稠密结构，如 Transformer 中的全连接自注意力、FM 中的全交互。这种操作会引入大量冗余关联，使得底层真正的稀疏关系结构难以被学习，同时也带来较高的计算复杂度。
单一视角建模	它们主要从单一的成对关系视角来刻画变量间的交互，而表格数据的复杂性可能要求从更多样化的视角来建模非线性交互。

基于以上背景，论文旨在解决：如何为没有空间或序列先验结构的表格数据，设计一种有效的深度架构，使其能够：

1. 自适应地学习稀疏的底层关系结构：避免像 FM、Transformer 那样强制建模所有可能的交互，从而减少冗余、降低计算成本，并更精准地捕捉真正有意义的变量间关联。
2. 从多视角（双路由）建模变量间的复杂非线性交互：超越单一的成对交互视角，通过融合从如拓扑结构和特征相似性的不同角度得到的信息，更充分地刻画表格数据中复杂的非线性关系。

文章贡献

针对现有方法（如因子分解机、Transformer）假设变量间为稠密交互、视角单一的局限性，本文提出双路由结构自适应图网络 DRSA-Net，其核心在于将无显式结构的表格数据建模为一个可学习的稀疏图上的消息传递问题。具体而言，模型首先通过低秩分解和 Top-K 操作，自适应地学习特征变量之间的最优稀疏图结构，从而精确控制交互的复杂性。在此基础上，模型设计了双路由注意力消息传递规则，同时从学得的图拓扑结构和基于注意力分数的特征相似性这两个互补的视角，来聚合信息并刻画变量间复杂的非线性交互。最终，通过一个分层聚合的读出函数得到样本的表示以进行预测。理论分析表明，经典的多层感知机和因子分解机均可视为该模型在完全图结构下的特例。通过大量实验验证了其有效性，消融实验、案例分析和复杂性评估共同表明，该模型在性能、效率、可解释性方面达到了良好的平衡。

预备知识

因子分解机

因子分解机是一种专门用于在稀疏数据下建模特征交互的模型，它避免了像 SVM 那样在稀疏数据下学习可靠参数的困难。FM 通过分解参数化（低秩嵌入）来建模所有嵌套变量交互，而不是像 SVM 那样使用稠密参数化。其数学表达式为：

\[\begin{align*} f(x) =& \langle w, x \rangle + \sum_{i<j} x_i x_j \operatorname{tr}(V_i^{(2)} \otimes V_j^{(2)}) \\ &+ \sum_{i<j<k} x_i x_j x_k \operatorname{tr}(V_i^{(3)} \otimes V_j^{(3)} \otimes V_k^{(3)}) + \ldots, \end{align*}\]

其中相关的符号及其含义如下：

符号	含义
\(w \in \mathbb{R}^{d}\)	参数向量
\(V^{(t)} \in \mathbb{R}^{d \times h_t}\)	可学习的嵌入矩阵
\(\otimes\)	表示外积

它的局限性在于 t 阶 FM 建模了 \(O(d^t)\) 种可能的变量交互。这导致 FM 无法为交互选择最优的变量子集，忽略了变量间关系的稀疏性；当特征向量维度高且稠密时，建模所有交互非常耗时。后续的许多变体也存在类似缺陷，如 AFM、Fi-GNN。

消息传递神经网络

消息传递神经网络是一个用于图上监督/半监督学习的通用框架，抽象了各种 GNNs 的共性。在给定图 \(\mathcal{G}=\{\mathcal{V}, \mathcal{E}\}\) 上，消息传递过程可形式化为：

\[\begin{align*} h_v^{(t+1)} &= \mathrm{AGG}_t \left( \left\{ M_t(h_v^{(t)}, h_u^{(t)}) \mid u \in \mathcal{N}(v) \right\} \right), \\ z &= R \left( \left\{ h_v^{(T)} \mid v \in \mathcal{V} \right\} \right), \end{align*}\]

其中相关的符号及其含义如下：

符号	含义
\(h_v^{(t)}\)	节点 \(v\) 在第 \(t\) 次迭代的表示
\(\mathcal{N}(v)\)	节点 \(v\) 的邻居
$M_t	消息函数
\mathrm{AGG}_t$	聚合函数，如求和、平均、注意力
\(R\)	读出函数

这个框架从消息传递的视角建模了所有节点间的复杂交互。从这个角度看，CNN 中的卷积、FM 中的变量交互求和、以及 Transformer 中的注意力机制，都可以被视作特定图结构上的消息传递过程。例如，Transformer的自注意力可以看作在一个具有 \(d\) 个节点的完全图上做消息传递，从而导致 \(O(d^2)\) 的高计算复杂度。

本文方法

本文提出的模型为 DRSA-Net，其核心思想是：为表格数据自适应地学习一个最优的稀疏图结构，并在此基础上定义双路由的消息传递规则，以端到端的方式解决分类和回归问题。

问题定义

本文针对表格数据的分类和回归问题，给定一个d维的特征向量 \(x = (x_1, x_2, \ldots, x_d)^{\top} \in \mathcal{X} \subset \mathbb{R}^{d}\)，目标是学习一个从特征空间 \(\mathcal{X}\) 到目标域 \(\mathcal{T}\) 的函数 \(f: \mathbb{R}^d \rightarrow \mathcal{T}\)。其中，对于回归任务， \(\mathcal{T} = \mathbb{R}\)；对于分类任务， \(\mathcal{T} = \{ +, - \}\)。通过最小化经验风险来优化函数 \(f\)，给定 n 个训练样本 \(\{ (x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}), \ldots \}\)：

\[E_{p(x, y)}[\mathcal{L}(f(x), y)] \]

其中相关的符号及其含义如下：

符号	含义
\(y\)	每个样本 \(x\) 的真实标签
\(\mathcal{L}\)	衡量预测值 \(\hat{y} = f(x)\) 与 \(y\) 之间偏差的损失函数

在表格数据的分类和回归问题中取得良好结果，关键在于通过函数 \(f\) 仔细建模特征向量 \(x\) 中的非线性。

结构自适应稀疏图学习

本文假设给定样本 \(x\)，其条件概率 \(p(y|x)\) 由一个底层图结构 \(\mathcal{G} = \{\mathcal{V}, \mathcal{E}\}\) 决定：

图组件	符号	说明
节点	\(\mathcal{V} = \{v_1, ..., v_d\}\)	对应特征的 \(d\) 个维度（即变量），其初始特征值为 \(x_i\)
边	\(\mathcal{E}=A^{\mathcal{G}} \in \{0,1\}^{d \times d}\)	表示变量间的潜在关联，用邻接矩阵表示

遵循图的低秩假设，通过两个可学习的低秩矩阵 \(U, V \in \mathbb{R}^{d \times l} (l \ll d)\) 来建模图拓扑 \(A = U V^{\top}\)。通过 Top-K 操作实现可控稀疏化。为了使学到的图结构稀疏且可控，对矩阵 \(A\) 的每一行 \(A_i\) 执行操作，只保留权重最大的前 \(\kappa\) 个连接，其余置零，从而生成真正的稀疏邻接矩阵 \(A^{\mathcal{G}}\)。过程形式化为：

\[\begin{aligned} &\text{for } i = 1,2,\ldots,d: \\ &\quad idx = \mathrm{argtop\kappa}(A_i), \\ &\quad A_{i, -idx} = 0, \quad A^{\mathcal{G}}_{i, idx} = 1. \end{aligned} \]

其中 \(\mathrm{argtop\kappa}(\cdot)\) 返回向量中前 \(\kappa\) 个最大值的索引。该操作将图稀疏化在消息传递之前完成，将后续计算复杂度从 \(O(d^t)\) 降低到 \(O(\kappa^t)\)。能控制每个节点的入度（邻居数），而基于 \(L_1\) 或 \(L_0\) 正则化的方法难以实现这一点。

双路由注意力消息传递

基于学到的稀疏图结构，定义节点 \(v_i\) 的初始状态为 \(h_i^{(0)} = x_i W_i^{(0)} \in \mathbb{R}^{k}\)。然后在 \(T\) 层上进行消息传递。第 \(t\) 层的消息传递公式如下：

\[\begin{aligned} h_i^{(t+1)} &= f_\sigma^{(t)} \left( (1+\epsilon_i^{(t)}) h_i^{(t)} + (1+\gamma_i^{(t)}) \sum_{j \in \mathcal{N}(i)} \alpha_{ij}^{(t)} h_j^{(t)} \right), \\ \alpha_{ij}^{(t)} &= w_\alpha^{(t)\top} \left( \frac{(Q_i^{(t)\top} K_j^{(t)})}{\sqrt{k}} \cdot A_{ij}^{\mathcal{G}} \parallel A_{ij} \right), \\ Q_i^{(t)} &= W_q^{(t)} h_i^{(t)}, \quad K_j^{(t)} = W_k^{(t)} h_j^{(t)}, \end{aligned} \]

其中 \(f_\sigma^{(t)}(\cdot)\) 是带 PReLU 激活函数的前馈网络，\(\epsilon_i\) 和 \(\gamma_i\) 是可学习或固定的缩放参数。

双路由分为拓扑路由和特征路由，通过拼接操作 \(\parallel\) 和一个可学习的权重向量 \(w_\alpha^{(t)} \in \mathbb{R}^{2}\) 将两条路由的信息融合，得到最终的注意力系数 \(\alpha_{ij}^{(t)}\)。这弥补了单一视角建模的不足。

路由	表示方式	效果
拓扑路由	由学到的邻接矩阵权重 \(A_{ij}\) 表示	反映了从图结构视角度量的交互强度。
特征路由	由缩放点积注意力 \(\frac{(Q_i^{(t)\top} K_j^{(t)})}{\sqrt{k}} \cdot A_{ij}^{\mathcal{G}}\) 表示	反映了从节点特征相似性视角度量的交互强度。\(A_{ij}^{\mathcal{G}}\) 确保了该路由同样遵循学到的稀疏结构。

最终非线性表示

经过 \(T\) 层消息传递后，每个节点（变量）的嵌入 \(h_i^{(T)}\) 已捕获了 \(T\) 阶的交互信息。通过一个考虑所有层的读出函数来得到整个图（即一个样本）的表示 \(z\)：

\[z = \sum_{t=1}^{T} z^{(t)}, \quad z^{(t)} = W_r^{(t)} \sum_{i=1}^{d} h_i^{(t)}, \]

其中 \(W_r^{(t)} \in \mathbb{R}^{k \times k}\) 是参数矩阵。最后将 \(z\) 投影到目标 \(\hat{y}\) 并进行优化。

表达能力分析

当图结构 \(\mathcal{G}\) 为完全图，即所有变量两两相连，并且消息传递中的聚合函数设置为求和与平均时，网络将退化为 MLP。证明思路是一个 2 层 MLP 的前向传播可以重新表述为在完全图上进行消息传递、求和与平均聚合的形式，因此 MLP 是 DRSA-Net 在完全图结构下的一个特例。

\[f(x) = \sigma(W^{(1)} \sigma(W^{(0)} x)) \]

当图结构 \(\mathcal{G}\) 为完全图，且每个变量 \(x_i \in \{0, 1\}\)将退化为 FM，这也符合 FM 处理稀疏特征的场景。证明思路是 2 阶 FM 的交互项 \(\sum_{i<j} W_i^{\top} W_j\) 可以从消息传递的视角进行近似。通过多层前馈网络（根据通用近似定理）可以模拟出与 FM 的交互项是等价的表达，因此 FM 也是 DRSA-Net 在完全图结构下的一个特例。

\[h_i^{(1)} = f_{\sigma}(f_{\sigma}(W_i) + \sum_{j \in \mathcal{N}(i)} f_{\sigma}(W_j)) \]

实验结果

数据集和实验设置

实验使用的数据集如下所示：

同时还包括一个合成数据集，它用于验证自适应学习稀疏关系结构的必要性。通过一个简单的多项式回归问题构造，其中某些变量对并无直接交互，如 \(x_1\) 和 \(x_2\)。

\[y = \frac{1}{3}(x_1 + x_2 + x_3) \times \frac{1}{3}(x_4 + x_5 + x_6) + \zeta \]

实验使用的对比模型主要有以下 2 类：

算法类型	对比模型
经典机器学习算法	逻辑/线性回归、支持向量机、因子分解机、XGBoost
深度神经网络	MLP、Fi-GNN、TabTransformer、Net-DNF、ARM-Net、MLP+C、Self-Attention

实验使用 Adam 优化器、Glorot 初始化，所有方法的超参数均通过网格搜索确定，以确保公平比较。超参数设置如下：

超参数	设置
特征嵌入维度	\(k=16\)
网络层数	\(T=2\)
稀疏度参数 \(\kappa\)	从候选集 \(\{5, 10, ..., 100\}\) 中调优

对比实验

合成数据集的结果可见 LR 只能捕捉线性关系，表现最差；SVM 性能依赖于核函数选择，多项式核优于 RBF 核。FM 由于强制建模所有变量对交互，包括 \(x_1 \times x_2\) 等冗余项，这引入了噪声导致性能不佳。DRSA-Net 能够自适应地学习稀疏图结构，过滤掉冗余交互，从而取得了最佳性能。合成实验直观地证明了，在变量间交互本质稀疏的情况下，像 FM 那样枚举所有交互是次优的，而学习稀疏结构是有效的。

在 CTLocation、VirusShare、BlogFeedback、YearPrediction 四个真实表格数据集上进行回归任务测试，DRSA-Net 在所有数据集上均达到最佳或次佳性能，综合表现最优。虽然 XGBoost 在部分指标上略优，但 DRSA-Net 与其性能处于同一水平，充分证明了 DRSA-Net 作为深度方法的竞争力。Fi-GNN 的参数复杂度为 \(O(d \times k^2)\)，在小样本、高维数据上训练不稳定，表现不佳。Net-DNF 严重依赖大量超参数搜索和随机组合，难以获得稳定优异的结果。ARM-Net 通过稀疏 Softmax 隐式学习稀疏交互的方式类似于正则化，无法精确控制稀疏度，效果不如 DRSA-Net 的显式控制方法。虽然通过大量正则化技术搜索提升了MLP，但耗时巨大，且无法提供可解释性。
在 MovieLens-1M（评分预测）和 Avazu（CTR 预测）两个经典推荐数据集上进行测试，DRSA-Net 在 MovieLens-1M 上取得最佳性能，在 Avazu 上与 XGBoost 性能相当。再次验证了在具有明确交互意义的场景中，捕获稀疏且自适应的特征关系对于提升模型性能的重要性。

接着将 CIFAR-10 和 SVHN 图像数据集展平为 3072 维的特征向量破坏其空间结构，将其视为普通表格数据进行分类。这用于检验算法在完全失去图像归纳偏置后，从无序特征中挖掘关联的能力。结果可见 DRSA-Net 在 SVHN 上表现最佳，在 CIFAR-10 上与 XGBoost 相当。DRSA-Net 能够通过自适应学习稀疏结构，将离散的 RGB 值关联成有区分性的特征模式，这类似于 CNN 在局部空间关联像素的思想，但更加灵活和数据驱动。Self-Attention、Fi-GNN 等建模 \(O(d^2)\) 稠密交互的方法在此设定下是次优的。

可解释性

在自行车租赁预测案例上展示 DRSA-Net 的可解释性，通过可视化学习到的特征结构，即邻接矩阵 \(A=UU^{\top}\) 的热力图实现。可见模型自动学习了符合直觉的强特征交互，例如工作日 与 小时 的强关联，解释了通勤潮汐现象。工作日、小时、湿度 三者的关联，解释了在湿度高（如下雨）的工作日，租赁量会下降。证明 DRSA-Net 不仅能预测，还能揭示对预测有重要影响的变量间稀疏关系。

消融实验

• 消息传递规则有效性：将 DRSA-Net 的双路由注意力规则替换为 GCN 或 GAT 的标准传播规则。结果可见 DRSA-Net 在绝大多数任务上显著优于 GCN 和 GAT 变体，表明其专门为表格数据设计的双路由注意力机制更为有效。
• 图稀疏化策略有效性：将 Top-K 稀疏化策略替换为 L0 范数约束和基于固定阈值的硬截断。结果可见 DRSA-Net 的策略始终优于替代方案，与不进行稀疏化的稠密版本对比，稀疏版性能更好，直接证明了学习稀疏结构的必要性。
  

将 DRSA-Net 与两个单路由变体（仅使用拓扑路由、仅使用特征路由）比较，在多个数据集上，完整的双路由 DRSA-Net 始终优于任一单路由变体。拓扑和特征两条路由提供了互补的信息，共同建模变量关系比单一视角更有效。

参数敏感性分析

在 SVHN 和 CTLocation 上测试不同 \(\kappa\) 值的影响，结果可见 \(\kappa\) 存在一个最优范围。\(\kappa\) 过小会限制模型表达能力，\(\kappa\) 过大（接近稠密图）则会引入噪声、降低性能。论文建议初始值设为 \(\sqrt{d}\)，然后在小范围内进行搜索。

计算复杂度分析

比较参数量和乘累加运算次数，结果可见 DRSA-Net 具有较小的参数量和中等偏低的计算开销，优于 TabTransformer 和 Net-DNF 等复杂模型，体现了其基于稀疏结构设计带来的效率优势。

收敛性分析

绘制 DRSA-Net、MLP、Self-Attention、Fi-GNN 在训练和测试集上的收敛曲线。得益于稀疏结构带来的低复杂度，DRSA-Net 的训练速度显著快于 Self-Attention 和 Fi-GNN，同时它表现出强大的表达能力和良好的泛化性能。

优点和创新点

个人认为，本文有如下一些优点和创新点可供参考学习：

1. 通过 Top-K 操作显式地学习表格特征变量间的最优稀疏图结构，避免了传统方法（如 FM、Transformer）假设完全图所带来的冗余计算和噪声干扰。
2. 融合了基于拓扑结构的连接权重和基于特征相似性的注意力分数，从两个互补的视角建模变量交互，克服了单一视角建模的局限性。
3. 从图消息传递的视角统一了 MLP 和 FM，并理论证明了它们是本模型在完全图结构下的特例，展现了模型架构的泛化能力。