摘要： 原文链接：【link】（以下的截图和部分文字均取自上链接） self-attention中存在的问题 一个序列中，第i个单词和第j个单词的attention score分数为： 其中Wq，Wk分别是multi-head attention给每个head加的query和key参数，Exi和Exj是xi 阅读全文

摘要： 讲的很好，用词简单，可以看看。 【link】 阅读全文