混合合成先验增强表格基础模型Mitra

表格数据支撑着医疗、金融、电子商务和科学等领域的核心决策。传统机器学习方法（如随机森林和XGBoost）通常需要为每个数据集单独训练模型，跨分布迁移能力有限。受大语言模型启发，表格基础模型(TFMs)可通过上下文学习(ICL)实现单模型多任务泛化。

作为某机构自动机器学习框架AutoGluon的最新组件，Mitra采用基于ICL的范式进行训练。该模型完全在合成数据上预训练，这些数据由精心设计的先验分布混合生成，包括结构因果模型（描述变量间因果关系的图结构与概率方程）以及梯度提升树、随机森林等树模型。这种设计解决了真实表格数据有限且异构的挑战。

Mitra框架核心特点：

1. 采用二维注意力机制，同时处理行和列的特征交互
2. 预训练阶段通过数百万合成任务学习推理模式
3. 推理时仅需少量支持集示例即可预测查询集标签

在TabRepo、TabZilla等主流基准测试中，Mitra在分类和回归任务上均超越TabPFNv2等现有TFMs，其决策边界相比基线模型更规则且连续。可视化实验显示，在二维正弦棋盘数据上，Mitra的决策碎片化程度显著低于对比模型。

该模型已作为AutoGluon 1.4版本组件开源，支持研究者扩展先验空间和自适应混合策略。评估表明，有效的合成先验需满足：(1) 实际任务性能优异 (2) 分布多样性防止过拟合 (3) 包含独特数据模式。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码