2025年10月14日
大模型预训练（七）：保持训练稳定性
摘要： Hessian 矩阵是观察性的，而非指令性的。它不控制或调整优化过程，它告诉你损失函数是如何围绕当前权重形成的，但不会主动干预。 所以，假设 Hessian 矩阵显示“哦，这部分损失函数非常陡峭，或者曲率是负的”，会发生什么？ 1. 标准梯度下降无法明确地识别它 梯度下降只使用一阶导数（梯度），它只 阅读全文
posted @ 2025-10-14 22:09 CathyBryant 阅读(7) 评论(0) 推荐(0)