注意力机制的本质

注意力机制本质：

　　注意力机制的具体计算过程，可以归纳为两个过程。

　　第一个过程：根据query和key计算权重系数

　　第二个过程：根据权重系数对value进行加权求和

posted @ 2018-12-29 15:23  今夜无风  阅读(897)  评论(0)  编辑  收藏  举报