问答作为迁移学习的通用框架

问答作为迁移学习的“通用语言”

少样本学习是一种技术，旨在为一系列相关任务学习一个通用的机器学习模型，然后仅用少量训练样本即可将其定制应用于新任务。这种跨任务的知识共享被称为迁移学习。

在一篇提交至国际声学、语音与信号处理会议（ICASSP）的论文中，展示了如何将问答作为基础任务，通过将自然语言理解任务视为问答任务来实现有效的迁移学习。

例如，考虑意图分类任务，这是诸如Alexa等语音助手的主要功能。如果Alexa用户说：“Alexa，播放专辑《Innervisions》”，其意图是play_music（而不是check_weather或set_timer）。意图分类任务可以被重新构造为回答一个问题，例如“意图是play_music吗？”

论文表明，如果一个模型已经过问答训练，这种任务重构使其能够比其他方式更高效地将知识迁移到其他自然语言理解任务。这种方法被称为QANLU。

在涉及两种不同自然语言理解任务（意图分类和槽位标记）、两种不同基线模型以及多种少样本训练样本抽样策略的大量实验中，该模型始终提供最佳性能，在多个案例中相对改进至少20%，在一个案例中达到65%。

研究还发现，在多个任务上顺序微调模型可以改善其在每个任务上的性能。例如，下图中的橙色曲线表示实验中基线模型的性能；蓝色曲线表示使用该方法在餐饮领域自然语言理解数据集上微调的问答模型的性能；灰色曲线表示使用该方法首先在航空旅行自然语言理解数据集（ATIS）上微调，然后在餐饮领域数据集上微调的问答模型的性能。

使用十个样本进行微调时，当问答模型直接在餐饮数据集上微调时，该方法比基线带来了21%的改进。但是，当先在ATIS数据集上微调时，改进跃升至63%。这表明，随着模型在越来越多的任务上微调，该方法的优势可能会叠加。

迁移映射

将自然语言理解问题映射到问答在文献中已有研究；研究团队的成员过去曾就此发表过论文。这项工作的新颖之处在于研究这种方法在迁移学习中的能力。

如今，大多数自然语言理解系统都建立在基于Transformer、在大量文本语料库上预训练的模型之上，因此它们编码了整个语言的词序统计信息。在这些网络之上添加额外的层，并在目标自然语言理解任务上重新训练完整的模型。

在研究中考虑了这种范式。在实验中，使用了两种不同类型的预训练Transformer模型，DistilBERT和ALBERT。

除了评估QANLU在意图分类上的有效性外，还在相关的槽位标记任务上对其进行了评估。在上面的例子中——“Alexa，播放《Innervisions》”——“Innervisions”是标签为album_name的槽位的值。在那里，对应于槽位标记任务的问题将是“提到了什么专辑名称？”

QANLU一个有趣的副作用是，在自然语言理解任务创建的问答对上训练也可能提高模型在原生问答任务上的性能。如果是这样的话，它为进一步使用自然语言理解与问答之间的映射进行数据增强开辟了可能性。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）

公众号二维码

公众号二维码