2025年11月4日
训练现象
摘要： 1.loos_spike（损失尖刺） 解决办法： 1.梯度裁剪：对L2范数设置上限，防止爆炸 2.学习率调度，采用warm-up或动态调整学习率 3.辅助损失、正则化 4.混合精度训练 5.数据清洗，批次归一化 阅读全文
posted @ 2025-11-04 16:48 zhangdudu 阅读(5) 评论(0) 推荐(0)