luxiangyu623

摘要： 位置编码基本概念 在讲旋转矩阵位置编码之前让我们先深入理解一下为什么自注意力是“顺序失明”的。 自注意力的核心是计算一个句子中每个词与其他所有词的“注意力分数”或“相关性”。这个分数是通过查询向量（Query, Q）和键向量（Key, K）的点积来计算的。 想象一下这个句子：“猫追老鼠” 模型为“猫 阅读全文

摘要： 自注意力层（分组查询注意力） 初始化 class SelfAttention(nn.Module): def __init__(self, config, layer_idx): super().__init__() self.layer_idx = layer_idx self.n_head = 阅读全文