损失曲线出现先下降后上升

1. 在深度学习模型训练过程中，为什么一个epoch内损失函数会出现先下降后上升的现象？

　　训练中，损失先降后升可能与以下因素相关：

　　1）学习率过高，初期权重更新使损失下降，但后期过大更新导致拟合偏差；

　　2）数据批次（batch）分布不均，某些批次噪声大或样本特殊，影响参数调整；

　　3）正则化项作用，在训练初期不显著，但随着权重增大逐渐占据主导，使总损失上升；

　　4）优化器动量效应，前期快速收敛，后期因累积梯度造成振荡。解决方法包括调整学习率策略、优化数据shuffle方式、控制正则化强度等。

 

　　模型一开始损失值下降代表着从欠拟合状态逐步向拟合（just right）的状态变化，损失值上升代表着从拟合状态向过拟合状态变化。

2.学习率（learning rate）过小一般会产生以下几种典型问题：

　　1） 收敛速度极慢
　　学习率决定每次参数更新的步伐。学习率过小时，模型参数每次只做很小的调整，一次更新收敛效果有限，因此训练收敛速度非常慢，模型可能需要训练非常多的轮次（epochs）才能达到较好的效果。

　　2）易陷入局部极小值或鞍点
　　学习率过小时，模型缺乏足够的“能量”跳出不理想的位置，更容易陷入局部极小值或鞍点而无法到达全局最优。

　　3） 浪费计算资源
　　训练轮数和迭代次数大幅增加，导致时间和计算资源的消耗严重，效率极低。

　　4） 早期效果看不出模型是否有效
　　由于参数更新幅度极小，刚开始训练时难以看到 loss 明显下降，影响模型调试与早期判断。