摘要： 1. Introduction Transformer 是2017年论文 “Attention Is All You Need” 中提出的 seq2seq 模型，该模型最大的贡献是舍弃了过去 seq2seq 模型中大量使用的RNN（包括LSTM和GRU），而是完全基于 attention 机制，使 阅读全文

摘要： 本文主要介绍了用 pytorch 实现Seq2Seq with attention 机器翻译任务，基于我之前写的 pytorch 实现简单的 Seq2Seq 机器翻译任务 。算法理论可以阅读论文“NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO AL 阅读全文

摘要： 本文主要介绍了用 pytorch 实现简单的 Seq2Seq 机器翻译任务，参考了 李宏毅老师的深度学习课程 的作业八，数据集也来自于此，视频课程可以在B站学习（https://www.bilibili.com/video/BV1JE411g7XF?p=53）。算法理论可以阅读论文"Sequence 阅读全文

摘要： 1. Introduction 这篇论文首次提出了NLP中的Attention机制，该机制被提出的目的是为了解决Encoder-Decoder神经机器翻译模型中长句子的翻译效果差的问题。作者希望通过Attention机制将输入和输出句子进行“对齐”，但是不同语言的语法结构相差很大，并没有很好的严格对 阅读全文

摘要： 1. Introduction 本文提出了一种端到端的序列学习方法，并将其用于英语到法语的机器翻译任务中。使用多层LSTM将输入序列映射为固定维数的表示向量，然后使用另一个多层LSTM从该向量解码得到目标序列。作者还提出，颠倒输入序列的单词序列可以提高LSTM的性能，因为这在源和目标序列之间引入了许 阅读全文