摘要: 看mnist数据集上其他人的CNN模型时了解到了Batch Normalization 这种操作。效果还不错,至少对于训练速度提升了很多。 batch normalization的做法是把数据转换为0均值和单位方差 这里分五部分简单解释一下Batch Normalization (BN)。1. Wh 阅读全文
posted @ 2018-07-05 17:32 Earendil 阅读(3458) 评论(0) 推荐(0) 编辑
摘要: 在神经网络中经常会用到dropout,大多对于其解释就是dropout可以起到正则化的作用。 一下是我总结的对于dropout的理解。花书上的解释主要还是从模型融合的角度来解释,末尾那一段从生物学角度的解释是在是看不明白。 从模型融合的角度来解释dropout: Dropout提供了正则化一一大类模 阅读全文
posted @ 2018-07-05 11:47 Earendil 阅读(885) 评论(0) 推荐(0) 编辑