2022年10月18日
Transformer理解
摘要： 1、QKV作用？ 1、QKV都是输入经过线性投影获得，假设句子为"good morning，sir",句子有4个token； 通过这4个token线性投影获得的QKV的embeding长度都是4，维度可能不一样，即Q.shape=(4, dq), K.shape=(4,dk), V.shape=(4 阅读全文
posted @ 2022-10-18 21:19 哈哈哈喽喽喽 阅读(533) 评论(0) 推荐(0)