小艾shea

摘要： 【整理向】 19世纪60年代最早:基于模板和规则 19世纪90年代:基于检索(IR)匹配 从问题中提取关键词,根据关键词在文本库中搜索相关文档,并进行降序排序,然后从文档中提取答案. 主要模型有: 单轮:DSSM,CLSM 多轮:Multi-Viem,DAM(state-of-art),Memory 阅读全文

摘要： 主要序列转导模型基于包括编码器（encoder）和解码器（decoder）的复杂递归或卷积神经网络。 性能最佳的模型还通过注意机制连接编码器和解码器。 我们提出了一种新的简单网络架构，Transformer，完全基于注意机制，完全免除递归和卷积。 两个机器翻译任务的实验表明，这些模型质量优越，同时可以更加并行化，并且需要更少的时间进行训练。我们的模型在WMT 2014英语 - 德语翻译任务中达到28.4BLEU，超过现有的最佳成绩，包括集成，超过2 BLEU。在WMT 2014英语到法语翻译任务中，我们的模型在8个GPU上训练3.5天后，建立了一个新的单模型最新BLEU分数41.8，这是最好的训练成本的一小部分文献中的模型。 阅读全文