认真积累每一天

摘要： https://blog.csdn.net/liuxiao214/article/details/81037416 http://www.dataguru.cn/article-13032-1.html 1. BatchNormalization 实现时，对axis = 0维度求均值和方差 -> 对 阅读全文

摘要： Abstract 1 问题 Internal Covariate Shift: 训练神经网络主要就是让各个层学习训练数据的分布。在深度神经网络的训练过程中，之前层(之前的任何一层)的参数的发生变化，那么前一层的输出数据分布也会发生变化，也即当前层的输入数据分布会发生变化。由于网络层的输入数据的分布本 阅读全文