01 2023 档案

摘要：论文地址 介绍 当前在文本摘要抽取领域，利用深度模型的监督学习方式表现的最好，这类方法基本都是将摘要抽取看做seq2seq自回归的生成任务，训练时基于极大似然估计，让模型预测的序列的概率最大近似标注的参考序列。 这类方法存在一个明显的问题就是：exposure bias （曝光偏差），即模型在预测时 阅读全文

摘要：论文链接 摘要 当前的文本摘要都是在transformers预训练基础上，对文本摘要的下游任务进行微调，没有针对生成式文本摘要的预训练方法。 介绍 在这项工作中，作者专门针对生成式文本摘要研究预训练方法，并对12个下游数据集（包括新闻，科学，短故事，说明，电子邮件，专利和立法法案）进行评估。 作者发 阅读全文