07 2021 档案

摘要：背景 经过前几篇文章的内容，基本跑通了整个文本摘要的基本流程。主要包括：文本预处理、基于注意力机制的seq2seq文本摘要生成、解码算法、模型生成结果评估等。因此，经过前面的操作，基本可以得到一个完整的文本摘要抽取的过程，本文的内容旨在对抽取过程进行进一步的提升。本文主要实现的是transforme 阅读全文

摘要：OOV问题及其常用解决方法 什么是oov问题？ 在encoder-decoder结构中，需要通过固定的词典对平行语料进行表示，词典大小一般控制在30k-60k；因此希望减少词表的大小，从而提高时间和空间效率。 同时还希望文本长度尽可能的短，因为文本长度的增加会降低效率并增加神经模型传递信息所需的距离 阅读全文

摘要：背景 结果前面文章中对文本处理、模型构建及训练等内容，本文主要介绍训练完成之后，如何利用模型进行生成文本？以及如何衡量模型的性能等。 核心内容 为尽快使baseline完整，本文先采用两种常见的解码算法：Greedy Decode和Beam Serach进行解码，因此后续文中实现也主要围绕这两个内容 阅读全文