2025 年 10月 30 日随笔档案 - 一抹烟霞

2025年10月30日

该文被密码保护。阅读全文

posted @ 2025-10-30 17:02 一抹烟霞阅读(0) 评论(0) 推荐(0)

摘要：混合精度训练需要loss_scaler的原因混合精度训练中使用loss_scaler主要是为了解决梯度下溢(Gradient Underflow)问题。让我详细解释一下: 🎯 核心问题:FP16数值范围有限 FP16 vs FP32的表示范围对比 FP32(单精度): - 最小正数: ~1.4e 阅读全文

posted @ 2025-10-30 15:17 一抹烟霞阅读(11) 评论(0) 推荐(0)