多分支注意力机制提升表格数据建模效果

多分支注意力机制在表格数据中的精准应用

表格数据天然具有显著的特征异质性，但现有基于Transformer的方法缺乏专门机制来处理这一特性。为此，我们提出MAYA框架——一种基于编码器-解码器的Transformer架构。

核心创新

编码器设计：

• 提出多分支注意力机制(MBA)，构建多个并行注意力分支
• 对各分支特征进行平均融合，有效整合异构特征
• 通过参数共享控制参数量增长

协作学习：

• 采用动态一致性权重约束
• 生成更具鲁棒性的特征表示

解码器设计：

• 利用交叉注意力机制
• 无缝整合表格数据与对应标签特征
• 双注意力机制同时捕获实例内和实例间交互

实验验证

在广泛的基准数据集测试表明：

• 在表格分类和回归任务中
• 优于当前最先进的Transformer方法
• 19页论文包含3组实验图表佐证

该研究为处理表格数据的特征异质性提供了新的技术路径，相关代码已开源。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码