2025年10月11日
大模型预训练（五）：Hessian矩阵
摘要： 想象我们正站在一片风景中，不是草地和山丘，而是“损失函数风景”。每个点都是模型可能拥有的一组权重，高度代表模型在那里的“错误”程度。 低谷=好，高峰=坏。 Hessain矩阵？如果说坡度（斜率）告诉你哪条路是下坡，那么 Hessian 矩阵则告诉你坡度本身是如何变化的（曲率）： - 山谷是陡峭的还是 阅读全文
posted @ 2025-10-11 22:02 CathyBryant 阅读(23) 评论(0) 推荐(0)