2024年3月16日
深度学习（混合精度训练）
摘要： 混合精度训练通常会结合使用单精度浮点数（float32）和半精度浮点数（float16），以提高训练效率和减少内存占用。 代码中关键在于两个地方： 1. 在with autocast():下，模型的前向传播和损失计算放在自动混合精度加速环境中进行。 2. 使用scaler对象进行混合精度训练的管理。 阅读全文
posted @ 2024-03-16 11:42 Dsp Tian 阅读(23) 评论(0) 推荐(0) 编辑