摘要： 用decoder的输入做Query（y_i），用encoder的输出去做key和value(X) 1. 引入 抛弃RNN，只用attention 2. Transformer ：Attention is All You Need 你不需要RNN，你只需要attention就可以参数化语言模型 还是有 阅读全文

摘要： Seq2seq的思想和应用 Encoder-decoder第一篇：Learning Phrase Representations using RNN Encoder-Decoder for Statis Machine Translation Seq2seq：sequence to sequence 阅读全文