BatchNorm

参考链接：https://blog.csdn.net/qq_25737169/article/details/79048516

第一节：Batchnorm主要解决的问题
首先，此部分也即是讲为什么深度网络会需要batchnorm batchnormbatchnorm，我们都知道，深度学习的话尤其是在CV上都需要对数据做归一化，因为深度神经网络主要就是为了学习训练数据的分布，并在测试集上达到很好的泛化效果，但是，如果我们每一个batch输入的数据都具有不同的分布，显然会给网络的训练带来困难。另一方面，数据经过一层层网络计算后，其数据分布也在发生着变化，此现象称为Internal InternalInternal Covariate CovariateCovariate Shift ShiftShift，接下来会详细解释，会给下一层的网络学习带来困难。batchnorm batchnormbatchnorm直译过来就是批规范化，就是为了解决这个分布变化问题。