CTRLsum: TOWARDS GENERIC CONTROLLABLE TEXT SUMMARIZATION

摘要

目前的摘要系统产生的一般摘要与用户的偏好和期望无关。为了解决这个问题，我们提出了CTRLsum，一个新的可控摘要框架。我们的方法使用户能够通过一组关键字或描述性提示的文本输入与摘要系统交互，从而控制生成摘要的多个方面。

介绍

通常，抽象摘要方法将文档作为输入，并生成一个通用摘要，以涵盖模型识别的某些信息。但是，感兴趣的内容取决于用户。

摘要应该根据用户的偏好选择信息。例如，一篇NBA篮球新闻文章，参考摘要描述了几场比赛的结果。
然而，这些球队中某些篮球明星（如勒布朗·詹姆斯或斯蒂芬·库里）的球迷，可能只对他们参加的比赛感兴趣，也想知道球员的比分。

基于此，我们将重点放在允许用户从模型中操作摘要的可控摘要上。我们提出CTRLsum，这是一个通过一组关键字或描述性提示的形式的control tokens来控制摘要的框架。
在训练时，模型学习预测以源文档和作为外部指导的关键字为条件的摘要。
在推断过程中，关键字和可选提示(约束解码的目标前缀)被组合为control tokens，以传达用户偏好，如图1所示

图一：推理时的工作流。用户通过关键字或提示形式的文本控制标记与摘要交互。训练和测试时需要输入关键字，而测试时可选择使用提示。虚线表示可选路径——控制令牌可以来自源项目、用户或两者。图的右边部分显示了CTRLsum的实际输出

2模型

2.1综述

control tokens——以关键字、提示或者两者的组合形式充当用户和黑盒模型的接口
关键字，作为训练和推断期间的额外输入。
在测试时，可以选择使用prompt，以进一步约束解码过程。

2.2自动关键字提取

可以从训练数据中提取关键字来训练模型，还具有在测试时自动提取关键字的机制。
可以根据用户偏好自动建议关键字，或者在没有用户信号时进行不受控的总结。

训练时： 首先贪婪地从文档中选择最大化ROUGE分数的句子和参考摘要，这一步将关键字限制在重要句子中。
然后，我们识别所提取的句子中所有与ground-truth摘要中的子序列相匹配的最长子序列。
最后，我们删除重复的单词和停止单词，并保留剩余的标记作为关键字。
这样的提取方式保留了摘要中发现的大部分实词。

测试时： 将测试时的关键字提取问题作为序列标注任务。
具体来说，基于Bert-based在训练集上训练一个序列标注器。标注器计算测试文档中每个token的选择概率\(q_{j}\)。首先选择\(n_{s}\)个平均token选择概率最高的句子。在这些句子中，\(q_{j}> ε\)的单词被选择为关键字，关键字的最大数量为\(m_{max}\)。

2.3摘要：训练细节

在训练时，将关键字序列前置到用特殊token分割的源文档，然后训练摘要模型。关键字序列保持关键字在文档中的顺序。

关键字dropout：关键字提取策略保留了源文档中发现的摘要中的大部分单词。如果没有正则化，对这些关键字的依赖就足够强，以至于模型很少在摘要中生成新的单词。为了解决这个问题，我们在训练时随机删除关键字，这样模型就可以学习依赖输入中出现的关键字，同时还可以学习从源文档中继承不在关键字中的关键信息。

2.4摘要：使用关键字推理

关键字提供了一个通用接口来控制摘要的多个方面，这允许用户有选择地依赖于自动提取的关键字、用户提供的关键字或两者的组合。该方法提供了测试时用户控制和训练过程(包括预训练)的清晰分离。因此，CTRLsum可以在不改变模型参数的情况下适应新的用例。

2.5摘要：用关键字和提示推理

在CTRLsum框架中，提示符是一种control token sequence，我们总是同时使用这些control tokens作为目标前缀和关键字。
我们发现，除了前缀之外，使用提示符作为关键字有助于关注与提示符相关的内容。

我们注意到，基于提示和基于关键字的控制在实践中是互补的——尽管提示理论上可以实现任何类型的控制，但从经验上看，它们通常在许多方面都不能很好地发挥作用，而且模型对提示的精确措辞非常敏感。例如，我们发现使用诸如“聚焦于[实体]的摘要是:”或“一个简短的摘要是:”这样的提示并不像显式地使用关键字来控制实体或长度那样有效

实验细节

关键词和提示语的消融分析

对于实体控制，使用control tokens“a summary focused on [entity] is”用于“prompt”和“prompt+keyword”

关键字和提示符对于不同的任务具有不同的重要性，并且通常是互补的。例如，使用提示来控制实体是非常困难的，而且成功率非常低——我们发现在大多数情况下，系统无法理解提示并适当地生成摘要。然而，提示符对贡献总结的贡献最大，与同时使用提示符和关键字的性能相当，而删除提示符和单独使用关键字会导致触发贡献的性能急剧下降。