sixart

摘要： 回顾一下 Transformer 的结构 Transformer 是一个 Encoder-Decoder 结构，Encoder（下图 I 左侧所示）的任务是将输入序列转移成连续表示的序列， Decoder（下图 I 右侧所示）接收编码器的输出和前一个时间步骤的解码器输出，以生成一个输出序列。 在生成 阅读全文

摘要： 结构 Transformer 由两个模块构成，分别为编码器模块与解码器模块。如图 I 所示，编码器模块是若干个 encoder 组件堆在一起，同样解码器模块也是若干个 decoder 组件堆在一起（原始文章中都是 6 个，可能比较吉利吧）。 当一个输入 sentence（不妨叫做小 s) 进入到编码 阅读全文