表格基础模型兴起如何重塑数据科学

表格基础模型兴起如何重塑数据科学

原文：towardsdatascience.com/tabular-foundation-models/

让我们不要忘记表格数据！

人工智能的最近进展——从能够进行连贯对话的系统到生成逼真视频序列的系统——主要归功于人工神经网络（ANNs）。这些成就得益于过去十五年中算法突破和架构创新的发展，以及最近出现的能够在大规模数据集上训练此类网络的大规模计算基础设施。

这种机器学习方法的主要优势，通常被称为深度学习，在于其能够自动学习复杂数据类型（如图像或文本）的表示，而不依赖于手工制作的特征或特定领域的建模。在这个过程中，深度学习显著扩展了传统统计方法的应用范围，这些方法最初是为了分析以表格形式组织的数据而设计的，例如在电子表格或关系数据库中找到的数据。

图 1：直到最近，神经网络在处理表格数据方面并不适合。[图片由作者提供]

一方面，深度学习在处理复杂数据上的显著有效性，另一方面，表格数据——它仍然代表了许多组织的信息资产的核心——的巨大经济价值，自然地引发了一个问题：深度学习技术是否可以成功地应用于此类结构化数据。毕竟，如果一个模型可以解决最困难的问题，为什么它不能在更容易的问题上表现出色呢？

悖论的是，深度学习长期以来一直难以处理表格数据 [8]。为了理解原因，回顾其成功依赖于从大量数据中揭示语法、语义或视觉模式是有用的。简单来说，一个词的意义来自于它在语言环境中的连贯性；同样，一个视觉特征通过在其许多图像中的重复而变得可识别。在这两种情况下，数据的内部结构和连贯性使得深度学习模型能够在具有潜在规律性的不同样本——文本或图像——之间进行泛化和知识迁移。

当涉及到表格数据时，情况根本不同，其中每一行通常对应一个涉及多个变量的观察结果。例如，考虑根据一个人的身高、年龄和性别预测其体重，或者根据地板面积、隔热质量和室外温度估计家庭的电力消耗（以千瓦时计）。一个关键点是，单元格的值只有在它所属的特定表格的上下文中才有意义。同一个数字可能在一个数据集中代表一个人的体重（以千克计），而在另一个数据集中代表一个一室公寓的地板面积（以平方米计）。在这种情况下，很难想象一个预测模型如何能够从一个表格转移到另一个表格——语义完全依赖于上下文。

因此，表格结构是高度异构的，在实践中存在无限多样的表格来捕捉现实世界现象的多样性——从金融交易到星系结构或城市地区的收入差异。

这种多样性是有代价的：每个表格数据集通常都需要其自己的专用预测模型，这些模型在其他地方无法重用。

为了处理这类数据，数据科学家通常依赖于基于决策树 [7]的一类模型。它们的精确机制在这里并不重要；重要的是，它们在推理方面非常快，通常在不到一毫秒内就能产生预测。不幸的是，像所有经典的机器学习算法一样，它们必须为每个新的表格从头开始重新训练——这个过程可能需要数小时。其他缺点包括不可靠的不确定性估计、有限的解释性和与无结构数据的较差集成——这正是神经网络发光的地方。

构建类似于大型语言模型（LLMs）的通用预测模型的想法显然很有吸引力：一旦预训练，这些模型就可以直接应用于任何表格数据集，而无需额外的训练或微调。这样来看，这个想法可能看起来雄心勃勃，如果不是完全不切实际的话。然而，这正是过去一年中由几个研究小组开发的表格基础模型（TFMs）所开始实现的事情——而且取得了令人惊讶的成功。

下文将突出展示这些模型背后的关键创新，并将它们与现有技术进行比较。更重要的是，它们旨在激发对一种可能很快重塑数据科学领域格局的发展的好奇心。

我们从大型语言模型（LLMs）中学到了什么

简而言之，大型语言模型（LLM）是一种机器学习模型，经过训练以预测文本序列中的下一个单词。这些系统最引人注目的特征之一是，一旦在大量文本语料库上训练，它们就能执行广泛的言语和推理任务——甚至包括它们从未明确训练过的任务。这种能力的一个特别令人信服的例子是，它们在仅依靠提示中提供的简短输入-输出对来解决问题时的成功。例如，为了执行翻译任务，通常只需要提供几个翻译示例。

这种行为被称为上下文学习（ICL）。在这种设置中，学习和预测是即时发生的，无需任何额外的参数更新或微调。这种现象——最初出乎意料，本质上几乎是奇迹般的——是生成式 AI 成功的关键。最近，几个研究小组提出了将 ICL 机制适应到构建表格基础模型（TFM）中，这些模型旨在为表格数据扮演类似于 LLM 对文本所扮演的角色。

从概念上讲，构建一个 TFM（表格基础模型）的过程相对简单明了。第一步包括生成一个非常大的合成表格数据集集合，这些数据集具有不同的结构和大小——无论是从行（观测）还是从列（特征或协变量）来看。第二步，训练一个单一模型——即基础模型本身——用于从每个表格中的所有其他列预测某一列。在这个框架中，表格本身充当预测上下文，类似于在 ICL（内联学习）模式下 LLM（大型语言模型）使用的提示示例。

使用合成数据提供了几个优点。首先，它避免了与版权侵权或隐私侵犯相关的法律风险，这些风险目前使 LLM 的训练复杂化。其次，它允许先验知识——归纳偏差——被明确地注入到训练语料库中。一种特别有效的策略是使用因果模型生成表格数据。不深入技术细节，这些模型旨在模拟可能产生现实世界中观察到的各种数据（无论是物理的、经济的还是其他方面的）的潜在机制。在最近的 TFM，如 TabPFN-v2 和 TabICL [3,4]中，已经以这种方式生成了数千万个合成表格，每个表格都源自一个独特的因果模型。这些模型随机采样，但遵循奥卡姆剃刀原则——在竞争性解释中，与数据一致的最简单解释应被优先考虑。

TFM 都使用神经网络实现。虽然它们的架构细节各不相同，但它们都包含一个或多个基于 Transformer 的模块。这种设计选择可以从广义上解释为，Transformer 依赖于一种称为 注意力 的机制，该机制使模型能够对每条信息进行上下文化。正如注意力允许一个词在考虑其周围文本的情况下被解释一样，一个设计得当的注意力机制可以上下文化表格中单元格的值。对探索这个主题感兴趣——这个主题既技术丰富又概念上引人入胜——的读者被鼓励查阅参考文献 [2–4]。

图 2 和 3 比较了传统模型与 TFM 的训练和推理工作流程。像 XGBoost [7] 这样的经典模型必须为每个新的表格从头开始重新训练。它们从输入特征 x 学习预测目标变量 y = f(x)，训练通常需要几个小时，而推理几乎是瞬时的。

与之相比，TFM 需要一个更昂贵的初始 预训练 阶段——大约需要几十个 GPU 天。这种成本通常由模型提供商承担，但对于许多组织来说仍然在可承受范围内，与 LLMs 通常关联的禁止性规模不同。一旦预训练完成，TFM 将 ICL 风格的学习和推理统一为单次通过：预测要进行的表格 D 直接作为测试输入 x 的上下文。然后，TFM 通过映射 y = f(x; *D**)来预测目标，其中表格 D 在模型中扮演的角色类似于 LLM 提示中提供的示例列表。

图 2 ：训练传统机器学习模型并在表格上进行预测。[图片由作者提供]

图 3 ：训练表格基础模型并进行通用预测。[图片由作者提供]

用一句话总结讨论

TFM 被设计为在表格数据上即时学习预测模型，而不需要任何训练。

惊人的性能

关键数据

下表提供了几个关键方面的指示性数据：TFM 的预训练成本、在新的表格上 ICL 风格的适应时间、推理延迟以及三个预测模型支持的最大表格大小。这些包括 TabPFN-v2，由 Frank Hutter 的团队在 PriorLabs 开发的 TFM； TabICL，由 Gaël Varoquaux 的团队在 INRIA 开发的 TFM^([1])；以及 XGBoost，一个被广泛认为在表格数据上表现最出色的经典算法。

图 4 ：两种 TFM 和一种经典算法之间的性能比较，[图片由作者提供]

这些图应被视为粗略估计，并且随着实现持续改进，它们很可能会迅速演变。为了进行详细分析，建议读者查阅原始出版物 [2–4]。

除了这些定量方面之外，TFMs 相比传统方法还有几个额外的优势。下面概述了最显著的一些。

TFMs 校准良好。

经典模型的一个众所周知局限性是它们的校准不佳——也就是说，它们分配给预测的概率往往无法反映真实的经验频率。相比之下，TFMs 由于其隐含的贝叶斯性质 [1]，设计上校准良好，原因超出了本概述的范围。

图 5：预测模型之间的校准比较。较深的阴影表示更高的置信水平。TabPFN 明显产生了最合理的置信估计。[图片改编自 [2]，许可协议下 CC BY 4.0]。

图 5 比较了 TFMs 预测的置信水平与经典模型（如逻辑回归和决策树）产生的置信水平。后者往往在无数据观察到的区域分配过度的置信预测，并且经常表现出与潜在分布无关的线性伪影。相比之下，TabPFN 的预测似乎校准得更好。

TFMs 鲁棒性强。

用于预训练 TFMs 的合成数据——数百万个因果结构——可以精心设计，使模型对 异常值、缺失值 或 非信息性特征 非常鲁棒。通过在训练期间让模型接触这些场景，它学会识别并适当处理它们，如图 6 所示。

图 6：TFMs 对缺失数据、非信息性特征和异常值的鲁棒性。[图片改编自 [3]，许可协议下 CC BY 4.0]。

TFMs 需要的最小超参数调整。

TFMs 的最后一个优势是它们需要的超参数调整非常少。实际上，它们即使在默认设置下使用时，也往往优于经过大量优化的经典算法 甚至当使用默认设置时，如图 7 所示。

图 7：TFM 与其他算法在默认和微调设置下的比较性能。[图片改编自 [3]，许可协议下 CC BY 4.0]。

最后，值得注意的是，关于 TFMs 的持续研究表明，它们在提高 可解释性 [3]、预测公平性 [5] 和 因果推断 [6] 方面也很有希望。

每个研发团队都有自己的秘密配方！

越来越多的人认为，TFM 不仅带来了增量改进，而且在数据科学的工具和方法上带来了一场根本性的转变。据观察，该领域可能会逐渐从以模型为中心的范式——专注于设计和优化预测模型——转向一种更以数据为中心的方法。在这种新的环境中，数据科学家在工业界的角色将不再是从头开始构建预测模型，而是组装一个能够对预训练 TFM 进行条件化的代表性数据集。

图 8：公共和私营实验室正在展开一场激烈的竞争，以开发高性能的 TFM。[图片由作者提供]

也可以设想，新的数据探索方法可能会出现，这得益于 TFM 现在在新型数据集上构建预测模型的速度，以及它们在时间序列数据中的应用[9]。

这些前景并没有被初创公司和学术实验室忽视，它们现在正竞争开发越来越强大的 TFM。这场竞赛的两个关键要素——每种方法背后或多或少是“秘密配方”——一方面是用于生成合成数据的方法，另一方面是实现 TFM 的神经网络架构。

这里有两个发现和探索这些新工具的入口点：

1. TabPFN (Prior Labs)

   一个本地的 Python 库：tabpfn提供与 scikit-learn 兼容的类（fit/predict）。开放访问，遵循 Apache 2.0 风格许可，并要求署名。

2. TabICL (Inria Soda)

   一个本地的 Python 库：tabicl（在合成的表格数据集上预训练；支持分类和 ICL）。开放访问，遵循 BSD-3-Clause 许可。

开心探索！

参考文献

1. Müller, S., Hollmann, N., Arango, S. P., Grabocka, J., & Hutter, F. (2021). Transformer 可以做到贝叶斯推理. arXiv 预印本 arXiv:2112.10510, 发布于 ICLR 2021。

2. Hollmann, N., Müller, S., Eggensperger, K., & Hutter, F. (2022). TabPFN：一种能在秒内解决小型表格分类问题的 Transformer. arXiv 预印本 arXiv:2207.01848, 发布于 NeurIPS 2022。

3. Hollmann, N., Müller, S., Purucker, L., Krishnakumar, A., Körfer, M., Hoo, S. B., … & Hutter, F. (2025). 使用表格基础模型在小数据上做出准确预测. 自然, 637(8045), 319-326。

4. Qu, J., Holzmmüller, D., Varoquaux, G., & Morvan, M. L. (2025). TabICL：一个用于在大数据上下文中学习的表格基础模型. arXiv 预印本 arXiv:2502.05564, 发布于 ICML 2025。

5. Robertson, J., Hollmann, N., Awad, N., & Hutter, F. (2024). 公平 PFN：Transformer 可以做到反事实公平. arXiv 预印本 arXiv:2407.05732, 发布于 ICML 2025。

6. Ma, Y., Frauen, D., Javurek, E., & Feuerriegel, S. (2025). 通过先验-数据拟合网络进行因果推断的基础模型. arXiv 预印本 arXiv:2506.10914.

7. Chen, T., & Guestrin, C. (2016, August). Xgboost: 可扩展的树提升系统. 在 第 22 届 ACM SIGKDD 国际知识发现和数据挖掘会议论文集 (pp. 785-794).

8. Grinsztajn, L., Oyallon, E., & Varoquaux, G. (2022). 为什么基于树的模型在典型的表格数据上仍然优于深度学习？ 神经信息处理系统进展, 第 35 卷, 507-520.

9. Liang, Y., Wen, H., Nie, Y., Jiang, Y., Jin, M., Song, D., … & Wen, Q. (2024, August). 时间序列分析的基础模型：教程与综述. 在 第 30 届 ACM SIGKDD 知识发现和数据挖掘会议论文集 (pp. 6555-6565).

---

^([1]) Gaël Varoquaux 是 Scikit-learn API 的原始架构师之一。他也是初创公司 Probabl 的联合创始人和科学顾问。