摘要：
一、提前停止 ▪ Validation set to select parameters ▪ Monitor validation performance ▪ Stop at the highest val perf. 二、DroupOut 注意：在训练时，要加上Training=True，其他都是 阅读全文
posted @ 2021-04-29 21:50
jasonzhangxianrong
阅读(838)
评论(0)
推荐(0)
摘要：
一、动量 1、普通梯度更新与加上动量的梯度更新。 解释：原先更新的方向是梯度方向，现在多了一个Z方向，即现在是结合了历史惯性。 二、学习率缓慢减少 解释：学习率太大和太小都不太好 阅读全文
posted @ 2021-04-29 21:23
jasonzhangxianrong
阅读(238)
评论(0)
推荐(0)
摘要：
一、减少过拟合 奥卡姆剃刀原理：没必要的东西尽量少用。 因此过拟合有以下几种： （1）更多数据 （2）限制网络复杂性：使用浅层网络、新数据集使用大网络后加惩罚。 （3）droupout （4）数据增强 （5）用验证数据早停。 二、损失函数加惩罚 1、原始 2、加惩罚项以后 三、加惩罚项方法 1、ke 阅读全文
posted @ 2021-04-29 20:46
jasonzhangxianrong
阅读(685)
评论(0)
推荐(0)
浙公网安备 33010602011771号