随笔分类 -  文本摘要

摘要：当前在文本摘要领域，利用深度模型的监督学习方式表现的最好，这类方法基本都是将摘要抽取看做seq2seq自回归的生成任务，训练时基于极大似然估计，让模型预测的序列的概率最大近似标注的参考序列。 这类方法存在一个明显的问题就是：模型在预测时候上一个token并不都跟参考序列中的一样，这样造成模型训练与预 阅读全文

摘要：论文地址 摘要 文本摘要模型在训练和推理阶段存在着差异，即偏差暴露问题。在训练阶段，在teacher-force下，这些模型被优化，以最大限度地提高黄金摘要的可能性，给定黄金摘要令牌作为解码器的输入，而在推理时，给定的令牌被生成的令牌替换。因此，很可能产生低质量的摘要。.为了解决这个问题，我们建议利 阅读全文

摘要：论文 代码 摘要 本文提出了一个概念上简单但是强大的抽象摘要框架，SimCLS。它通过对比学习的方式，缓解了Seq2Seq框架固有的目标函数和评价指标不一致的问题，从而可以从模型生成的候选摘要中筛选出真实的评价指标(ROUGE)打分更高的摘要。将它用于当前的SOTA模型，比如BART，PEGASUS 阅读全文

摘要：论文地址 介绍 当前在文本摘要抽取领域，利用深度模型的监督学习方式表现的最好，这类方法基本都是将摘要抽取看做seq2seq自回归的生成任务，训练时基于极大似然估计，让模型预测的序列的概率最大近似标注的参考序列。 这类方法存在一个明显的问题就是：exposure bias （曝光偏差），即模型在预测时 阅读全文

摘要：论文链接 摘要 当前的文本摘要都是在transformers预训练基础上，对文本摘要的下游任务进行微调，没有针对生成式文本摘要的预训练方法。 介绍 在这项工作中，作者专门针对生成式文本摘要研究预训练方法，并对12个下游数据集（包括新闻，科学，短故事，说明，电子邮件，专利和立法法案）进行评估。 作者发 阅读全文