摘要：Transformer 本文介绍了 Transformer 结构, 是一种 encoder decoder , 用来处理序列问题, 常用在NLP相关问题中. 与传统的专门处理序列问题的encoder decoder相比, 有以下的特点: 结构完全 不依赖于CNN和RNN 完全依赖于 self att 阅读全文

摘要：总结来自 "这篇论文的第7章" 注意力机制 注意力机制是一种在 编码器 解码器 结构中使用到的机制, 现在已经在多种任务中使用: 机器翻译(Neural Machine Translation, NMT) 图像描述(Image Captioning (translating an image to 阅读全文