hwj_note

摘要： Batch Normalization就是批归一化，在神经网络的layer未激活输出之前加一道Batch Normalization的工序，以下简称BN。关于BN的原理介绍，网上有很多资料，也可以参考这篇https://www.cnblogs.com/huwj/p/10759532.html，在这里 阅读全文

摘要： 原文链接：https://www.cnblogs.com/Luv-GEM/p/10756382.html 在机器学习领域中，有一个重要的假设：独立同分布假设，也就是假设训练数据和测试数据是满足相同分布的，否则在训练集上学习到的模型在测试集上的表现会比较差。而在深层神经网络的训练中，当中间神经层的前一 阅读全文

摘要： 神经网络训练一个模型的过程中，对于每一次参数的更新可以增加一个trick，即对参数进行滑动平均更新，即moving average，会对模型的训练有益。参照源码的一句说法：When training a model, it is often beneficial to maintain moving 阅读全文

摘要： https://blog.csdn.net/hu_guan_jie/article/details/78495297 阅读全文