2025年11月2日
RoPE：旋转位置编码的实现
摘要： 位置编码基本概念 在讲旋转矩阵位置编码之前让我们先深入理解一下为什么自注意力是“顺序失明”的。 自注意力的核心是计算一个句子中每个词与其他所有词的“注意力分数”或“相关性”。这个分数是通过查询向量（Query, Q）和键向量（Key, K）的点积来计算的。 想象一下这个句子：“猫追老鼠” 模型为“猫 阅读全文
posted @ 2025-11-02 09:41 Luxxx23 阅读(5) 评论(0) 推荐(0)