摘要： 内容补充：在上一节的Multi-Head Attention模块中，完成了自注意力值的计算： 而该步骤总结为： 1.计算查询矩阵\(Q\)与键矩阵\(K\)的点积\(Q \cdot K^T\),求得相似值，称为分数； 2.将\(Q \cdot K^T\)除以键向量维度的平方根\(\sqrt{d_k} 阅读全文

摘要： 前言：写博客记录我的学习过程，该笔记代码来源：【注意力机制与输出预测（LLM：从零到一）【5】】 https://www.bilibili.com/video/BV1fr421s7Kp/?share_source=copy_web&vd_source=223740e4230bb50e6f2bd500 阅读全文