Paper Reading: Tab-PET: Graph-Based Positional Encodings for Tabular Transformers

目录

• 研究动机
• 文章贡献
• 预备知识
  • 有效秩
  • 位置编码
• 理论基础
  • 理论分析
  • 为什么要讨论有效秩？
• 本文方法
  • 图估计
  • 位置编码生成
  • 位置编码集成
• 实验结果
  • 合成数据集实验
    • 数据生成方法
    • 实验结果
  • 真实数据集实验
    • 数据集和实验设置
    • 图估计方法分析
    • 分类与回归性能对比
    • 与可学习位置编码的对比
    • 真实数据集上的 PE 与有效秩
• 优点和创新点

Paper Reading 是从个人角度进行的一些总结分享，受到个人关注点的侧重和实力所限，可能有理解不到位的地方。具体的细节还需要以原文的内容为准，博客中的图表若未另外说明则均来自原文。

论文概况	详细
标题	《Tab-PET: Graph-Based Positional Encodings for Tabular Transformers》
作者	Yunze Leng, Rohan Ghosh, Mehul Motani
发表会议	Fortieth AAAI Conference on Artificial Intelligence（AAAI 2026）
发表年份	2026
会议等级	CCF-A
论文代码	https://github.com/kentridgeai/Tab-PET

作者单位：

1. Department of Electrical and Computer Engineering, College of Design and Engineering, National University of Singapore
2. N.1 Institute for Health, Institute for Digital Medicine (WisDM), Institute of Data Science, National University of Singapore

研究动机

表格数据是机器学习中最常见的数据形式，广泛应用于金融、医疗、推荐系统等领域。然而，与图像、文本、音频等数据不同，表格数据缺乏固有的结构性先验，如空间局部性、序列顺序、频谱连贯）。许多实际表格数据集样本量有限（数百到数千）但特征数量多，且经过独热编码后维度更高，特征间交互稀疏且难以建模。同时包含类别型和连续型特征，需要不同的处理方式。缺乏结构先验是最核心的挑战，表格数据没有像 CNN 可利用的平移不变性，也没有像 Transformer 在 NLP 中可利用的顺序。这使得模型难以高效学习，尤其是基于自注意力的 Transformer，加剧了小样本和高维问题的挑战。
虽然 TabTransformer、SAINT、FT-Transformer 等模型在表格数据上取得了进展，但它们通常没有使用位置编码。这是因为表格数据特征顺序通常是任意的，且特征间的结构关系很少被预先定义。当前学界的一种普遍看法是，位置编码无法使表格 Transformer 受益。基于上述背景，论文旨在解决的问题是：如何在本身缺乏固有结构先验的表格数据中，为 Transformer 模型引入有意义的结构性归纳偏置，从而提升其泛化性能？

文章贡献

为论证并实现将结构先验（位置编码）引入表格 Transformer 的有效性，本文提出一种名为 Tab-PET 的表格 Transformer 生成图结构位置编码的框架。首先，对数据进行预处理，通过基于关联的统计方法（如斯皮尔曼相关系数）估计一个特征关系图。其中每个节点代表一个特征，边权重表示特征间依赖程度。然后，计算该图的拉普拉斯矩阵，选取其前 k 个与后 k 个特征向量，拼接并缩放后生成每个特征对应的固定位置编码。最后，将这些位置编码与原始特征嵌入向量拼接，作为改进的输入送入 Transformer 模型进行训练。该方法通过注入源自数据内部结构的归纳偏置，旨在降低模型学习问题的内在维度。通过合成数据实验验证了该方法的有效性依赖于数据内部结构，并在 50 个真实数据集上进行了广泛实验，表明 Tab-PET 能持续、显著地提升多种主流表格 Transformer 的性能，其表现优于强大的梯度提升树基线和可学习位置编码方法。

预备知识

有效秩

有效秩是一个衡量矩阵内在维度的信息论概念，与传统线性代数中的秩不同。传统的秩 \(r\) 表示矩阵中线性独立列（或行）的数量，是一个离散的整数。而有效秩 \(r_{\text{eff}}\) 则是一个连续的值，它量化了矩阵奇异值分布的集中程度或确定性，可以理解为这个矩阵在数值上真正起作用的维度数。对于一个表示 \(n\) 个样本 CLS 嵌入的矩阵 \(X \in \mathbb{R}^{n \times d}\)，其有效秩定义为：

\[r_{\text{eff}}(X)=\exp\left(-\sum_{i=1}^{r}\tilde{\sigma}_{i}\log\tilde{\sigma}_{i}\right) \]

其中，\(\tilde{\sigma}_{i} = \sigma_{i} / \sum_{j=1}^{r} \sigma_{j}\) 是通过 SVD 分解 \(X = U\Sigma V^{T}\) 得到的归一化奇异值，\(r\) 是 \(X\) 的秩。这个公式通过奇异值分布的香农熵，捕捉了学习表示的内在维度。直观上：

• 如果所有奇异值都相等（\(\tilde{\sigma}_i = 1/r\)）：\(r_{\text{eff}} = r\)，此时有效秩等于传统秩，表示所有维度的贡献均匀分布，矩阵的内在维度被充分利用。
• 如果奇异值分布高度不均，即少数几个奇异值占据了绝大部分的能量（这在现实数据中很常见）： \(r_{\text{eff}}\) 会远小于 \(r\)，这意味着矩阵的绝大部分信息或变化集中在前几个主成分上，其真正的、有效的维度其实很低。

因此，有效秩是一个比传统秩更精细、更能反映数据真实复杂性的度量。

位置编码

位置编码是 Transformer 模型中的一个组件，用于为模型提供输入元素的顺序或位置信息。Transformer 的自注意力机制本质上是“置换不变的”，它把输入（比如一句话的多个词，或一张图片的多个块）看作一个集合。如果不提供额外信息，模型无法区分第一个词和第十个词的位置差异，也就无法理解序列中顺序带来的语法、语义或结构信息。位置编码就是一组与输入元素的位置序号（如第 1 个、第 2 个...）绑定在一起的向量。这些向量可以是固定的（如用正弦/余弦函数预先计算），也可以是可学习的参数。
在计算注意力时，这些位置向量会被加到（或与）对应的输入特征向量中，从而让模型在比较任意两个元素时，不仅能知道它们“是什么”（内容），还能知道它们“在哪里”（位置），以及彼此的“相对距离”。在视觉和自然语言处理中，位置编码用于表示空间位置或词序。而在本文处理的表格数据中，特征通常被认为是没有天然顺序的，因此传统上不使用位置编码。

理论基础

已有大量研究表明，特征具有较低的秩（即较低的内在维度）通常能带来更好的泛化性能。一项重要研究指出，数据的内在维度同时控制着近似误差（训练拟合）和泛化误差。因此，一个架构若能通过产生低秩特征来降低学习任务的维度，这在泛化角度上是一个积极的信号。本文的理论结果表明位置编码能够直接降低 FT-Transformer 中 CLS 输出嵌入的有效秩，CLS 输出最终会通过全连接层用于最终预测。

理论分析

定理 1. [随机输入下的有效秩] 设 \(x \in \mathbb{R}^{d}\) 为一个单层、单头FT-Transformer的输入向量，其分量 \(x_{i}\) 独立同分布且 \(x_{i} \in (0,1)\)。定义相关符号和假设（详见原文）。定义：

\[C_{\alpha}=\exp\left(\frac{\alpha\tau-2c_{K}c_{Q}c_{q}}{\sqrt{d_{T}}}\right) \]

则经过自注意力层后，CLS令牌输出的有效秩 \(r_{\text{eff}}\) 满足：

\[r_{\text{eff}} \le (C_{\alpha}+d)\cdot\exp\left(-\frac{C_{\alpha}}{C_{\alpha}+d}\cdot\log C_{\alpha}\right) \]

在 \(C_{\alpha} \gg d\) 的区间内，上式可简化为 \(r_{\text{eff}} \approx 1 + \frac{d}{C_{\alpha}}\)。

备注 1. 当 \(C_{\alpha} \gg d\) 时，\(r_{\text{eff}} \approx 1 + C e^{-\alpha\tau / \sqrt{d_{T}}}\)。因此，当通过增大 \(\alpha\) 来赋予位置编码更高权重时，有效秩可以被显著降低，但前提是 \(\tau > 0\)。然而，如果不使用任何位置编码（即 \(p_i = [0,0,..0]\)），则 \(\tau = 0\)。因此，没有位置编码时，有效秩会显著更大。

定理 2. [结构化输入下的有效秩] 考虑与定理 1 相同的设定，但输入向量 \(x \in \mathbb{R}^{d}\) 具有如下结构：\(d\) 为偶数，且：

\[x_{i}=\begin{cases}\theta & \text{for } i \le d/2,\\\ \theta^{\prime} & \text{for } i > d/2,\end{cases} \]

其中 \(\theta, \theta^{\prime} \in (0,1)\) 是共享的潜在变量，\(\beta_{i}, \gamma_{i} \in \mathbb{R}\) 是系数。则经过自注意力后，CLS 令牌输出的有效秩 \(r_{\text{eff}}\) 满足：

• 随机位置编码：结果简化后，当 \(C_{\alpha} \gg d\) 时，\(r_{\text{eff}} \approx 1 + \frac{d}{2 C_{\alpha}}\)。
• 组内共享位置编码：如果 \(p_i\) 对所有 \(i \le d/2\) 是固定的，且对 \(i > d/2\) 是另一个固定向量，则结果简化后，当 \(C_{\alpha}\) 很大时，\(r_{\text{eff}} \approx 1 + \frac{1}{C_{\alpha}}\)。

备注 2. 上述结果表明，FT-Transformer 的 CLS 令牌输出的有效秩，取决于位置编码是否适应了底层数据的结构。当某些输入维度彼此相似时（如定理2所示），为相似维度分配相同的位置编码可以显著降低 CLS 输出的有效秩。因此，选择遵循数据结构的恰当位置编码，可以降低学习问题的维度，从而提升泛化性能。当然，这也存在一些局限性。对于本质需要更高有效秩才能妥善处理的任务，可能不会从加入位置编码中受益。

为什么要讨论有效秩？

本文引入并重点讨论有效秩，是为了从理论机制上解释位置编码为何能提升表格 Transformer 的泛化性能。先前的研究表明，学习到的特征表示具有较低的（有效）秩，通常与更好的泛化性能相关。低有效秩意味着模型学到的是更紧凑、更本质的数据表示，而不是去记忆高维噪声，这有助于抵抗过拟合。因此，如果一个方法能主动降低模型中间表示（如 CLS 令牌）的有效秩，就可能意味着它提升了模型的泛化能力。
位置编码在表格数据中是一个反直觉的组件，因为表格没有天然的顺序。本文的定理 1 和定理 2 就是证明：引入位置编码，特别是与数据结构对齐的位置编码，可以降低 Transformer 中 CLS 令牌输出的有效秩。

• 定理 1 表明：即使对于独立同分布的输入，引入位置编码（\(\tau > 0\)）也能通过系数 \(C_{\alpha}\) 降低有效秩，且强度 \(\alpha\) 越大，降秩效果越明显。
• 定理 2 表明：当位置编码能反映数据的内在分组结构时（例如，为相似的特征分配相同的编码），其降低有效秩的效果会更强（\(r_{\text{eff}} \approx 1 + 1/C_{\alpha}\) 远优于随机编码时的 \(1 + d/(2C_{\alpha})\)）。

本文方法

在表格 Transformer 中估计和集成位置编码包含 4 个步骤：图估计 -> 位置编码生成 -> 位置编码集成，整体流程可概括为下图所示：

图估计

为确保后续步骤的公平性和消除隐含的排序偏差，采取以下标准化预处理：

变量类型	操作	说明
类别变量	独热编码	移除了其原生基于顺序表示可能引入的任何结构性偏置，但副作用是特征维度会增加，影响后续图估计的规模。
连续变量	标准化	使其均值为 0，方差为 1。

预处理后，每个输入样本表示为一个 \(d\) 维特征向量：

\[x^{(j)}=\left[x_{1}^{(j)}, x_{2}^{(j)},\ldots, x_{d}^{(j)}\right]^{\top},\quad j=1,\ldots, m \]

其中 \(m\) 是样本数。将每个特征 \(x_i\) 视为图中的一个节点，边则代表特征之间的统计或因果依赖关系。本文探索了两种主要的图学习范式：

1. 基于因果的方法：该方法假设线性结构因果模型 \(x = A x + \epsilon\)，其中 \(A\) 是表示因果关系的加权邻接矩阵，\(\epsilon\) 是独立噪声向量。应用如 LiNGAM 和 NOTEARS 等算法来学习这个因果图，得到有向无环图。
2. 基于关联的方法：节点 \(x_i\) 和 \(x_j\) 之间的边权重 \(w_{ij}\) 定义为它们统计依赖性的函数：\(w_{ij} = \rho(x_i, x_j)\)。度量 \(\rho\) 可选择皮尔逊相关、斯皮尔曼等级相关或互信息。对于基于互信息的图估计，则采用 Chow-Liu 算法来确保得到的结构是一个有向无环图。

位置编码生成

给定估计出的图按以下步骤生成位置编码：

1. 对称化：首先将邻接矩阵对称化，得到无向版本：\(A_{\text{sym}} = \frac{1}{2}(A + A^{\top})\)。
2. 拉普拉斯矩阵：计算图的拉普拉斯矩阵：\(L = \overline{D} - A_{\text{sym}}\)，其中 \(D\) 是度矩阵。
3. 特征向量选择：选择 \(L\) 的前 \(k\) 个和后 \(k\) 个特征向量（排除第一个常值特征向量），将它们归一化（跨节点零均值、单位方差），并拼接形成位置编码矩阵：\(P = [e_2, \ldots, e_{k+1}, e_{d-k+1}, \ldots, e_d]\)。
4. 缩放：通过超参数 \(\alpha\) 来调节这些编码的影响强度：\(P^{\prime} = \alpha \cdot P\)
5. 类别特征处理：对于具有多个独热编码节点的类别特征，我们对单个编码进行平均，为该特征生成一个统一的位置编码向量。

在 Tab-PET 模型中，位置编码的作用机制与传统 Transformer 相似，但其来源、目的和产生的效果具有独特性。表格特征没有天然顺序，所以 Tab-PET 为它们创造一种基于数据内部结构的“虚拟位置”。对特征关系图进行谱分析（计算拉普拉斯矩阵的特征向量），特征向量的各个分量就定义了每个特征在这个结构空间中的坐标。选取前 k 个和后 k 个特征向量，就为每个特征生成了一个独一无二的、固定长度的图结构位置编码，这个编码捕获了该特征在整个特征关联网络中的全局和局部结构位置。

位置编码集成

在基于 Transformer 的表格模型架构中，每个特征经过标记化后得到一个 \(n\) 维嵌入向量。通过拼接的方式将估计出的位置编码 \(P^{\prime}\) 集成到模型中：

\[z^{\prime}_{i} = [z_{i}; p^{\prime}_{i}] \in \mathbb{R}^{n+2k} \]

其中，\(z_i\) 是特征 \(x_i\) 的原始嵌入，\(p^{\prime}_i\) 是缩放后的位置编码。随后，这些修改后的嵌入将作为训练期间自注意力层的输入。在自注意力计算中，Query、Key、Value 向量都源自这个拼接后的表示 \(z_i'\)。因此，特征的内容信息和其在特征图中的结构位置信息会共同影响注意力权重的计算。这意味着，两个在内容上可能不直接相关，但在特征图中结构相近（即拥有相似位置编码）的特征，也可能被模型分配较高的注意力权重，从而学习到它们之间潜在的、通过其他特征中介的关联。
结构位置编码的注入将引导模型在构建 CLS 令牌（用于最终预测的汇总表示）时，更多地去关注和聚合那些具有相似结构角色的特征所提供的信息。这导致 CLS 表示的奇异值分布更集中，即有效秩降低。学习问题因此被简化为在一个更低维度的、更本质的结构子空间中进行，从而提升了模型的泛化能力。

实验结果

合成数据集实验

通过设计可控的合成实验，旨在验证一个假设：位置编码的益处是否与表格数据内部存在的结构性关系本质相关？

数据生成方法

定义“结构”为特征之间的关联程度，如果所有特征都独立，则不存在有意义的成对关系。为了模拟可控的结构，我们将特征空间划分为 \(k\) 个组，使得组内特征共享潜在的关联，而组间特征保持独立。
给定输入维度 \(d\) 和分区数量 \(k\)，合成数据生成过程如以下伪代码所示。当 \(k\) 增大时，大多数特征会落在各自的组中，导致特征独立，结构最小化。当 \(k\) 较小时，许多特征共享相同的生成变量，从而增加了结构。考虑的场景是生成的数据集构成一个回归问题，其中底层函数是其中一个分区的线性函数。

实验结果

在合成数据集上评估 FT-Transformer 模型，输入维度固定为 \(d=30\)，并使用基于斯皮尔曼相关的图来生成位置编码。每个特征嵌入与位置编码拼接，并通过超参数 \(\alpha\) 缩放以调节其影响。为分析结构变化的影响，将特征划分为 \(k\) 个组，并将结果分为三个区间：高结构 (\(k \le 8\))、中等结构 (\(10 \le k \le 22\))、低结构 (\(k > 22\))。评估了在不同 \(\alpha\) 值和分组数量 \(k\) 下的准确性。
下图展示了不同结构区间下的性能表现，具有更强内部关联的数据集（高结构）从图衍生位置编码中受益更多。随着位置信号通过更大的 \(\alpha\) 值放大，性能提升也更大，这验证了当数据展现出有意义的结构时，位置编码最有用。

即使在高度非结构化的设置中，也观察到位置编码带来的微小但一致的性能提升。这是因为即使输入是非结构化的，位置编码也能降低学习问题的有效秩（定理1），且生成结构是一个简单的线性函数，并不需要高秩特征。同时，过度放大位置编码的贡献可能会降低模型性能，如将 \(\alpha\) 增大到 10。这是直观的，因为过大的 \(\alpha\) 会不成比例地加权位置信号，可能会掩盖查询-键-值分解中编码的原始输入内容。

真实数据集实验

数据集和实验设置

实验在来自 OpenML 的 50 个表格数据集上进行牟其中 25 个分类、25 个回归。这些数据集在样本量、特征维度和类别变量比例上各不相同。为保留统计特性，采用分层抽样，并按照 60:20:20 的比例划分为训练集、验证集和测试集。

图估计方法方面，一些图估计方法（如 NOTEARS）计算成本很高，基于关联的图使用公式（1）中的成对度量计算权重。Chow-Liu 需要额外步骤以确保图为有向无环图。生成位置编码时，本文设计了一个自动选择 \(k\) 的算法，该算法基于谱隙分析自适应地确定低频和高频特征向量的最优数量。该算法基于对归一化特征值（特征向量有效频率的代理）的双侧阈值处理。超参数 \(\alpha\) 从 0.05 到10 的 9 个值中选取，并通过验证集使用贪婪方法进行优化。
评价指标方面，回归任务使用 RMSE，分类任务使用平衡准确率实现独立于类别不平衡的无偏估计，相应地使用平衡交叉熵损失进行训练。所有方法均使用 5 个随机种子进行实验并报告平均值，在训练过程中均使用早停策略。与两类基线方法进行对比：

算法类型	对比模型	设置
树模型	XGBoost、CatBoost	使用 Optuna 进行超参数优化
基于 Transformer 的方法	TabTransformer、SAINT 和 FT-Transformer	在比较有无PE的版本时，保持批次大小、训练轮数、学习率、特征标记化输出维度等超参数固定

图估计方法分析

为评估不同图估计方法对下游性能的影响，在 50 个数据集上使用 FT-Transformer 作为骨干，比较了五种代表性方法。结果可见基于关联的方法在两项任务上持续优于基于因果的方法，斯皮尔曼相关取得了最高的平均提升，紧随其后的是皮尔逊相关。斯皮尔曼表现出最一致的正向增益，性能下降的情况最少。相比之下，因果发现方法 NOTEARS 和 LiNGAM 表现出相对较弱的性能提升。基于树结构依赖图的 Chow-Liu 算法在分类任务上表现不佳。在图估计和位置编码创建所需的平均额外计算时间方面，引入的计算开销很小，例如斯皮尔曼图平均仅增加 0.79 分钟。

为了更好地理解为何基于关联的方法优于基于因果的方法，通过图熵分析了结构特性。图熵衡量了边权重分布的均匀性，较高的熵表明图更均匀、连接更密集，而较低的熵表明图更稀疏、边权重高度集中。下图揭示了图熵与下游性能之间的清晰模式，在所有测试的数据集中，因果方法（NOTEARS 和 LiNGAM）集中在低图熵区域，产生稀疏、高度受限的图。斯皮尔曼和皮尔逊相关则产生高熵的图，更密集的结构与最强的性能增益相关联，表明当位置编码源自密集的特征依赖而非稀疏的因果结构时，能提供更有用的信息。

分类与回归性能对比

选择斯皮尔曼方法作为将位置编码集成到 Transformer 架构中的最佳方法。只对包含多个类别变量的数据集使用 TabTransformer，因为其架构仅对类别变量应用嵌入（从而应用 PE），连续变量则完全绕过嵌入层。实验结果如下所示，可见 Tab-PET 改进了多种 Transformer 架构和任务上的性能。在平均排名方面，Tab-PET 方法取得了最佳的整体性能，在分类和回归任务上均超越了梯度提升树和基线 Transformer。Tab-PET 版本的 FT-Transformer 和 SAINT 在整体排名中位列前两位。

与可学习位置编码的对比

研究中的一个关键问题是：从表格数据固有结构中推导出的固定位置编码，是否优于根据数据输入自适应学习的可学习位置编码。为了探索表格领域的这一问题，在所有分类和回归数据集上比较了可学习 PE 与 Tab-PET 生成的 PE 的性能提升。结果显示，Tab-PET 持续实现了比可学习方案更高的平均提升。表明对于通常数据量较小的表格数据集，像 Tab-PET 那样结合图结构位置信息提供了显著优势。

真实数据集上的 PE 与有效秩

为了验证理论结果，在 15 个真实世界表格数据集上进行了实验，测量了特征的有效秩，比较了三种条件：无 PE 的基线 (\(\alpha=0\))、使用图衍生 PE 的 Tab-PET、具有相同维度和统计特性的随机 PE。使用具有单层和单注意力头的 FT-Transformer 架构，以隔离 PE 对有效秩的影响。对于每种 PE 类型改变缩放参数 \(\alpha \in \{1, 2, 3, ..., 30\}\)，并计算 CLS 令牌嵌入在最终全连接层前的有效秩。
实验结果的发现与定理 1 和定理 2 高度一致，随着 \(\alpha\) 的增加，与基线相比 Tab-PET 和随机 PE 在所有 \(\alpha\) 值上都降低了有效秩，这证实了位置编码能使架构在需要时降低表示的复杂度。Tab-PET 的有效秩显著低于随机 PE，并且随着 \(\alpha\) 的初始增大差距扩大，之后再次收敛。有效秩的指数型衰减与理论结论相符。

优点和创新点

个人认为，本文有如下一些优点和创新点可供参考学习：

1. 从有效秩降低的理论角度，论证了位置编码能够简化表格数据学习任务的内在维度，从而提升 Transformer 模型的泛化性能，为方法提供了理论支撑。
2. 提出了 Tab-PET 框架，利用基于图论的方法（特别是基于关联的图）从本身无结构的表格数据中自动推导出位置编码，为表格 Transformer 引入了可学习、可解释的结构性归纳偏置。