解决loss值不下降问题（转）

https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/

 

1.模型结构和特征工程存在问题

 

2.权重初始化方案有问题

 

3.正则化过度

 

4.选择合适的激活函数、损失函数

 

5.选择合适的优化器和学习速率

 

6.训练时间不足

 

7.模型训练遇到瓶颈

 

8.batch size过大

 

9.数据集未打乱

 

10.数据集有问题

 

11.未进行归一化

 

12.特征工程中对数据特征的选取有问题