2020年9月4日
Pytorch学习笔记17----Attention机制的原理与softmax函数
摘要： 1.Attention（注意力机制） 上图中，输入序列上是“机器学习”，因此Encoder中的h1、h2、h3、h4分别代表“机","器","学","习”的信息，在翻译"macine"时，第一个上下文向量C1应该和"机","器"两个字最相关，所以对应的权重a比较大，在翻译"learning"时，第二 阅读全文
posted @ 2020-09-04 11:05 雨后观山色 阅读(4753) 评论(0) 推荐(0)