2023年12月13日
Bert基础教程-第一章节
摘要： 章节知识 自注意力机制包含哪些步骤？ 答： 自注意力机制包含：查询矩阵、键矩阵以及值矩阵；相似度矩阵（通过查询矩阵和键矩阵的点积运算得到）；缩放矩阵（将相似度矩阵进行缩放）；得分矩阵（将缩放后的相似度矩阵进行softmax归一化处理）；注意力矩阵（利用得分矩阵对值向量进行加权求和后的到的，每个向量对 阅读全文
posted @ 2023-12-13 17:57 wuhaoliu 阅读(12) 评论(0) 推荐(0)