摘要： 2024.3.12 Self-Attention和Attentiond的区别 注意力机制是一个很宽泛（宏大）的一个概念，QKV相乘就是注意力，但是他没有规定QKV是怎么来的 通过一个查询变量Q，去找到V里面比较重要的东西 假设K==V，然后QK相乘求相似度A，然后AV相乘得到注意力值Z，这个Z就是V 阅读全文

摘要： 2024.3.12 自-注意力机制（向量） 首先可以看到 Self Attention 有三个输入 Q、K、V：对于 Self Attention，Q、K、V 来自句子 X 的 词向量 x 的线性转化，即对于词向量 x，给定三个可学习的矩阵参数$W_Q$ ，$W_K$,$W_V$,x 分别右乘上述矩 阅读全文

摘要： 2024.3.12 Attention(注意力机制) ## 怎么做注意力 我（查询对象Q)，这张图（被查询对象V） 如：我看这张图，第一眼，我就会去判断哪些东西对我而言更重要，哪些有更不重要（去计算Q和V里的事物的重要度） 重要度计算，其实是不是就是相似度计算（更接近） Q，$K =k_1,k_2, 阅读全文