luxiangyu623

摘要： 想象一下，训练一个神经网络，就像把你蒙上眼睛，丢进一片连绵不绝的山脉里，你的任务是找到最低的山谷。 这个“最低山谷”，就是我们模型的最佳状态——损失函数的最小值。 问题来了：你看不见全局地图，只能靠脚下的坡度来判断方向。下一步该往哪走？步子迈多大？ 这就是优化器 (Optimizer) 要解决的核心 阅读全文

摘要： 位置编码基本概念 在讲旋转矩阵位置编码之前让我们先深入理解一下为什么自注意力是“顺序失明”的。 自注意力的核心是计算一个句子中每个词与其他所有词的“注意力分数”或“相关性”。这个分数是通过查询向量（Query, Q）和键向量（Key, K）的点积来计算的。 想象一下这个句子：“猫追老鼠” 模型为“猫 阅读全文

摘要： 自注意力层（分组查询注意力） 初始化 class SelfAttention(nn.Module): def __init__(self, config, layer_idx): super().__init__() self.layer_idx = layer_idx self.n_head = 阅读全文