Paper Reading: T2G-FORMER: Organizing Tabular Features into Relation Graphs Promotes Heterogeneous Feature Interaction

目录

• 研究动机
• 文章贡献
• 图估计器
  • 自适应边权重
  • 静态知识拓扑
  • 关系图组装
• T2G-FORMER
  • 总体架构
  • 基础块
  • 跨层级读出
• 实验结果
  • 数据集和实验设置
  • 对比实验
  • 消融研究实验
  • 可解释性分析
• 优点和创新点

Paper Reading 是从个人角度进行的一些总结分享，受到个人关注点的侧重和实力所限，可能有理解不到位的地方。具体的细节还需要以原文的内容为准，博客中的图表若未另外说明则均来自原文。

论文概况	详细
标题	《T2G-FORMER: Organizing Tabular Features into Relation Graphs Promotes Heterogeneous Feature Interaction》
作者	Jiahuan Yan, Jintai Chen, Yixuan Wu, Danny Z. Chen, Jian Wu
发表会议	The Thirty-Seventh AAAI Conference on Artificial Intelligence (AAAI-23)
发表年份	2023
会议等级	CCF-A
论文代码	https://github.com/jyansir/t2g-former

作者单位：

1. College of Computer Science and Technology, Zhejiang University, Hangzhou, China
2. School of Medicine, Zhejiang University, Hangzhou, China
3. Department of Computer Science and Engineering, University of Notre Dame, Notre Dame, IN 46556, USA
4. The First Affliated Hospital, and Department of Public Health, Zhejiang University School of Medicine, Hangzhou, China

研究动机

表格结构的数据在许多领域（如医疗记录、点击率预测）都非常普遍，是机器学习和工业应用中的重要数据类型。以梯度提升决策树为代表的非深度模型，在表格学习任务中长期占据主导地位。尽管深度神经网络在 CV、NLP 等领域取得了巨大成功，但将其专门用于表格学习的研究也在不断涌现。这些研究主要分为两类：

深度表格学习模型	原理
可微分的树模型	使用神经网络模仿决策树
基于融合的模型	通过特征交互来学习综合特征

然而，现有基于深度学习的表格学习方法存在一个根本性的缺陷，即未能有效处理表格数据的特征异构性问题：

特征类型	说明
同构特征	例如图像像素、文本词向量
异构特征	表格中的特征（例如身高、血压、HIV 抗体水平），它们在语义和统计上相对独立

由于异构特征并非天然适合进行全局融合，因此可见现有方法存在不足：

选择方式	说明	不足
软选择	被许多融合模型采用，如基于注意力机制的模型，本质上是让所有特征进行全连接交互	它盲目地将所有特征融合在一起，可能引入不相关特征间的噪声交互。
硬选择	对相关特征进行分组然后在组内进行交互，如 DANets。	它只能将相关特征放入同一组，却无法建模组内特征之间的关系。

例如，在“身高、体重、血压”这个分组中，身高和血压之间的交互可能意义不大，但分组策略无法排除这种无意义的交互，导致模型表达能力受限。总结来说，本论旨在解决的核心问题是：如何超越简单的全连接或分组交互，设计一种更精细、更有序的机制，来有效促进异构表格特征之间的交互。

文章贡献

本文设计了一个新型深度神经网络模型 T2G-FORMER，提出并验证了用图结构来组织和促进表格特征交互的新范式。模型引入了一个名为图估计器的模块，它能自动从表格数据中学习并构建特征关系图。T2G-FORMER 是一个专门为表格学习定制的 Transformer 架构，它用图估计器生成的关系图来替代标准 Transformer 中的自注意力机制，从而在特征关系图的有序引导下进行异构表格特征的交互。此外，模型还设计了一个跨层级读出机制，能够逐层、有选择地收集不同抽象层次的关键特征，聚合为最终的全局语义进行预测。通过 12 个公开数据集上广泛的实验，验证了 T2G-FORMER 在性能上超越多种 SOTA 的表格深度学习模型，并通过可视化展示了模型学到的特征关系具有良好的可解释性。

图估计器

图估计器是本文的核心创新模块，图估计器为表格数据自动构建特征关系图，以有序、可控的方式进行特征交互。其核心设计思想来源于知识图谱补全，它对原始问题的扩展在于不仅评估特征节点之间交互的可能性，还将这种可能性分解为两个维度：

1. 静态的、与具体数据样本无关的知识拓扑：表示任务固有的底层特征关系知识。
2. 动态的、与具体数据相关的自适应边权重：根据输入特征的实际值动态调整关系强度。

FR-Graph 将每个表格特征视为一个图节点，图中的边由自适应边权重、静态知识拓扑两部分共同确定。

自适应边权重

自适应边权重用于评估特定数据样本中，任意一对特征进行交互的“软可能性”。给定两个特征嵌入向量 \(x_i, x_j \in R^{n}\)，其交互得分通过以下成对评分函数计算：

\[G_{w}[i,j] = g_w(f_i^h, f_j^t) = {f_i^h}^T \operatorname{diag}(r) f_j^t \]

\[f_i^h = W^h x_i, \quad f_j^t = W^t x_j \]

与该公式相关的的符号定义如下：

符号	含义
\(W^h, W^t \in R^{m \times n}\)	可学习的投影矩阵，用于将特征映射到“头实体”和“尾实体”表示。
\(\operatorname{diag}(r) \in R^{n \times n}\)	一个由可学习的关系向量 \(r\) 参数化的对角矩阵，它从语义上表示特征交互关系。

对于 \(W^h\) 和 \(W^t\)，有两种参数策略：

参数共享性	说明	公式表示
共享参数	对称边权重	\(G_w[i,j] \equiv G_w[j,i]\)
不共享参数	非对称边权重	\(G_w[i,j] \neq G_w[j,i]\)

静态知识拓扑

第二部分是静态知识拓扑，它表示任务整体的底层知识，用以约束哪些特征对之间可能存在有意义的交互，防止无关特征相连。通过可学习的列嵌入 \(E \in \{E^h, E^t\}\) 来表示每个特征列的语义，特征对 \((i, j)\) 的拓扑得分计算为：

\[G_t[i,j] = g_t(e_i^h, e_j^t) = \frac{{e_i^h}^T e_j^t}{\|e_i^h\|_2 \|e_j^t\|_2} \]

其中 \(e_i^h = E^h[:, i], \, e_j^t = E^t[:, i]\)，\(L_2\) 归一化用于提高训练稳定性。接着通过一个阈值函数将拓扑得分 \(G_t\) 二值化生成邻接矩阵，得到静态的邻接矩阵 \(A\)，代表知识图谱的拓扑结构。

\[A = f_{top}(G_t) = 1[\sigma_1(G_t + b) > T] \]

与该公式相关的的符号定义如下：

符号	含义
\(\sigma_1\)	元素级激活函数
\(T\)	常数阈值
\(1[\cdot]\)	指示函数

关系图组装

将两个组件（自适应边权重、静态知识拓扑）结合，生成最终的特征关系图 \(G\)：

\[G = \sigma_2\left( f_{\text{nsi}}(A) \odot G_w \right) \]

与该公式相关的的符号定义如下：

符号	含义
\(\odot\)	哈达玛积，即用静态拓扑 \(A\) 来掩蔽掉自适应的权重 \(G_w\) 中不存在的连接。
\(f_{\text{nsi}}\)	无自交互函数，用于显式排除图中的自环，强制模型专注于特征之间的交互，因为特征自身的信息已通过模型的捷径连接保留。
\(\sigma_2\)	竞争性激活函数（如 Softmax、Sparsemax），用于限制每个特征节点的入度，使其注意力集中在少数重要的关系上。

由于边权重和知识拓扑各有对称/非对称版本，因此共有四种可能的 FR-Graph 组合。根据论文实验结果，对称边权重 + 非对称知识拓扑的组合通常表现最佳。

T2G-FORMER

T2G-FORMER 是一个为表格学习定制的 Transformer 架构，其核心思想是利用图估计器来指导特征间的交互，并通过跨层级读出机制聚合不同深度的语义信息。

总体架构

T2G-FORMER 由多个基础块堆叠而成，其工作流程如下：

1. 输入编码：原始表格数据先通过一个简单的特征标记化器转换为初始特征 \(X^0\)。
2. 分层图交互：每一层（基础块）都会基于当前层的输入特征，利用图估计器生成一个特征关系图，并用此图来指导特征交互，从而输出更高层级的抽象特征。
3. 跨层级聚合：用一个全局的跨层级读出节点逐层、有选择地从每一层收集关键特征。
4. 最终预测：基于处理完所有层后获得的聚合了全局语义的读出节点状态进行最终预测。

基础块

基础块是 T2G-FORMER 的主要计算单元，替换了标准 Transformer 中的自注意力模块。

基础块的计算步骤为：

1. 生成关系图 \(G^l = GE(X^l)\)：由图估计器根据当前层输入 \(X^l\) 计算得到特征关系图 \(G^l\)（排除自环）。
2. 特征交互 \(H^l = G^l V^l + g(X^l)\)：首先将输入特征线性投影为值：\(V^l = W_v X^l\)，然后通过图卷积的形式进行 \(G^l V^l\)。这意味着每个特征节点的更新，只与其在关系图 \(G^l\) 中相连的邻居节点有关，实现了选择性交互。引入一个捷径连接 \(g\)（实验中为Dropout层），用于保留来自前一层的原始信息，防止交互过程中的信息丢失。
3. 前馈网络 \(X^{l+1} = FFN(H^l) + g(H^l)\)：将交互后的特征 \(H^l\) 通过一个前馈网络进行非线性变换，并再次加入捷径连接，得到下一层的输入特征 \(X^{l+1}\)。

跨层级读出

跨层级读出用于收集和融合来自不同深度的、被模型判断为重要的特征语义。该模块从一个可学习的全局读出节点 \(z^l\) 会从输入层（第 1 层）开始，逐层向上在每一层进行特征收集。在第 \(l\) 层，读出节点会基于与当前层特征相同的自适应边权重和静态知识拓扑评估函数，计算出对各个特征的注意力权重 \(\alpha_i^l\)。这个过程与图估计器的思路一致，确保特征选择与交互策略的连贯性。

\[\alpha_i^l = g_w(h^l, f_i^t) \cdot f_{top}(g_t(e^l, e_i^t)) \]

与该公式相关的的符号定义如下：

符号	含义
\(h^l\)	读出节点的特征嵌入
\(e^l\)	读出节点的语义嵌入

接着进行特征融合，将读出节点用计算出的权重对当前层的变换特征 \(V^l\) 进行加权求和，并加上自身的状态（捷径连接）通过前馈网络更新。

\[z^{l+1} = FFN\left( \operatorname{softmax}(\alpha^l)^T V^l + z^l \right) + \left( \operatorname{softmax}(\alpha^l)^T V^l + z^l \right) \]

经过所有 \(L\) 层后，最终的读出节点状态 \(z^L\) 包含了从低层到高层的、经过精选的全局语义信息，被用于最终预测：

\[\hat{y} = FC(ReLU(LN(z^L))) \]

实验结果

数据集和实验设置

使用了 12 个分类或回归任务的公开表格数据集，数据集详细信息如表所示。

实验与多种模型进行比较，分为两大类别：

算法类型	对比模型
非深度模型	XGBoost（作为 GBDT 的代表）
深度神经网络	包括传统 MLP、SNN，以及前沿的表格深度学习模型，如 TabNet、NODE、AutoInt、DCNv2、FT-Transformer、DANets

使用 PyTorch 实现，采用 AdamW 优化器。对大部分 DNN 和 XGBoost 使用了超参数自动调优，以确保公平比较。默认采用对称边权重和非对称图拓扑的 FR-Graph 组合。

对比实验

T2G-FORMER 在 12 个数据集中的 8 个上取得了最佳性能，超越了其他所有对比的 DNN 模型。与 XGBoost 相比，T2G-FORMER在大部分数据集上表现相当甚至更优，验证了其作为深度学习模型在表格学习任务上的强大竞争力。

消融研究实验

接着比较 FR-Graph 四种组合的影响，即对称/非对称边权重 × 对称/非对称知识拓扑。结果可见采用对称边权重和非对称知识拓扑的组合（SwAt）在大部分任务上表现最佳，这表明特征间的相互影响是等同的，但一个更灵活、探索空间更大的非对称拓扑有助于发现更有用的特征关系。

接着对比在 FR-Graph 中包含自环和排除自环（论文设置）的影响。结果可见在大多数情况下，排除自环能带来轻微的性能提升。这是因为自交互会占用有限的交互注意力，而特征的自身信息已通过模型中的捷径路径得以保留，让模型更专注于特征间的交互是更优的选择。

接着测试在 3 层 T2G-FORMER 中，将 GE 放置在不同层或完全用普通注意力替代的效果。可见所有层都使用 GE 时效果最好，移除任何一层的 GE 都会导致性能下降。回归任务在第一层使用 GE 至关重要，如果将GE放在高层或完全不用，性能会显著下降。这可能因为回归需要更平滑的优化空间，而底层清晰的特征关系是高层有效抽象的基础。

然后对比了三种获取知识拓扑 \(A\) 的方法：

获取知识拓扑的方法	说明
论文方法	基于列嵌入的静态拓扑
自适应拓扑	直接对自适应边权重 \(G_w\) 进行阈值截断
自由拓扑	直接学习一个 N×N 的邻接矩阵。

结果可见论文提出的基于列嵌入的静态拓扑方法效果最好，它既优于完全数据依赖的自适应拓扑，也优于参数过多的自由拓扑。说明了底层知识假设的有效性，也避免了过度自由化。

将GE中的知识拓扑替换为 DANet 的分组掩码，以对比图交互与组交互的性能差异。结果可见基于图的交互明显优于基于分组的交互，验证了图结构能比简单的组结构捕获更精细、更灵活的特征对关系。

可解释性分析

论文在两个语义丰富的数据集（California Housing 和 Churn Modeling）上可视化了第一层学到的 FR-Graph 和读出节点的选择：

• FR-Graph 特征可视化：得到的特征关系具有现实意义，例如在房价数据中，“收入中位数”与“家庭平均人口”相连，“家庭平均人口”与“平均卧室数”相连，这与常识相符。在用户流失数据中，“年龄”、“余额”和“信用分数”之间形成了有意义的连接。
• 读出选择可视化：读出节点在不同层有选择地关注了关键特征。例如，在预测房价时，它重点关注了“房龄”；在预测用户流失时，它重点关注了“年龄”。这些选择直观且符合业务逻辑。
  

优点和创新点

个人认为，本文有如下一些优点和创新点可供参考学习：

1. 首次提出图估计器，将异构表格特征组织成包含静态知识拓扑与动态自适应边权重的特征关系图，为表格学习提供了基于图结构的数据表示的思路。
2. 构建了基于特征关系图的 T2G-FORMER 模型，以图引导的交互机制替代传统 Transformer 的全连接注意力，实现了有序、可解释的异构特征融合，提升深度学习处理表格数据的能力。