摘要:
针对 LLM 在表格推理任务中因文本序列化丢失结构信息的问题,本文提出了将表格作为一种独立的模态集成到 LLM 中的 TAMO 框架。TAMO 使用超图增强的表格编码器来学习表格的结构表示,通过超图建模表格的层次结构和排列不变性,然后通过一个对齐投影器将结构表示注入到 LLM 的语义空间中,与序列化文本和问题一起进行自回归推理。在训练时可以选择冻结 LLM 参数,仅学习表格编码器和对齐层。实验在 StructQA、HiTab、WikiTQ、WikiSQL、FeTaQA 五个表格推理数据集上验证了 TAMO 的有效性,在冻结 LLM 设置下相比纯文本模态平均提升 42.65%,在微调设置下也 consistently 优于纯文本方案,并且基于 Llama2-7B 的 TAMO 在结构推理任务上超过了 GPT-4.1 和 DeepSeek-R1。 阅读全文
posted @ 2026-08-31 01:01
乌漆WhiteMoon
阅读(21)
评论(0)
推荐(0)

浙公网安备 33010602011771号