2021年5月24日
Transformer自下而上理解(4) Attention without RNN
摘要： 本文笔记参考Wang Shusen老师的课程：https://www.youtube.com/watch?v=aButdUV0dxI&list=PLvOO0btloRntpSWSxFbwPIjIum3Ub4GSC&index=1 1. 回顾Attention 在介绍Transformer之前，我们首 阅读全文
posted @ 2021-05-24 22:20 marsggbo 阅读(162) 评论(0) 推荐(0)
Transformer自下而上理解(3) Self-attention机制
摘要： 本文笔记参考Wang Shusen老师的课程：https://www.youtube.com/watch?v=Vr4UNt7X6Gw&list=PLvOO0btloRnuTUGN4XqO85eKPeFSZsEqK&index=9 1. 前言 2015年，在文献[1]中首次提出attention。到了 阅读全文
posted @ 2021-05-24 17:18 marsggbo 阅读(378) 评论(0) 推荐(0)