【759】seq2seq（编码器和解码器）和注意力机制

参考：动手学深度学习第十八课：seq2seq（编码器和解码器）和注意力机制

以机器翻译作为示例讲解的，相关笔记如下：

• Encoder与Decoder之间的关联，可以是最后的隐含层，或者不同的Attention层，而且对于Decoder的没一个模块都对应着不同的输入，与U-Net模型类似，如下图所示。
• 对于注意力机制的理解，翻译中，对于预测每个单词的时候，起到关键作用的原始单词对不一样，通过Attention进行赋值不同的权重，可以体现出对不同的单词提供不同的注意力。
• 机器翻译的初始输入为<bos>，结束用<eos>来表示。