04 2023 档案

摘要：代码：https://github.com/facebookresearch/bart_ls 论文：https://arxiv.org/abs/2209.10052 我们的主要发现总结如下: 1)在全局令牌和滑动窗口关注等长期机制中，我们发现简单的池增强块attention是各种任务的最有效选择。 阅读全文

摘要：论文：https://arxiv.org/pdf/1910.13461.pdf 模型架构 BART-base使用了6层的encoder和decoder, BART-large使用了12层的encoder和decoder。 BART架构与BERT密切相关。有以下区别： 解码器的每一层都额外地在编码器的 阅读全文

摘要：简介 事实上，当使用预训练的模型生成摘要时，我们实际上一直在试图找出如何使用文档和模型的先验生成正确的摘要。如果模型的先验是正确的，或者输入文档可以有效地影响摘要生成，那么生成的摘要将是正确的，相反，摘要将与原始文本不一致。 因此，将知识添加到模型中以引导其生成正确摘要的问题可以转化为如何在文档摘要 阅读全文

摘要：摘要 目前的摘要系统产生的一般摘要与用户的偏好和期望无关。为了解决这个问题，我们提出了CTRLsum，一个新的可控摘要框架。我们的方法使用户能够通过一组关键字或描述性提示的文本输入与摘要系统交互，从而控制生成摘要的多个方面。 介绍 通常，抽象摘要方法将文档作为输入，并生成一个通用摘要，以涵盖模型识别 阅读全文