BatchNorm

参考链接:https://blog.csdn.net/qq_25737169/article/details/79048516

第一节:Batchnorm主要解决的问题
首先,此部分也即是讲为什么深度网络会需要batchnorm batchnormbatchnorm,我们都知道,深度学习的话尤其是在CV上都需要对数据做归一化,因为深度神经网络主要就是为了学习训练数据的分布,并在测试集上达到很好的泛化效果,但是,如果我们每一个batch输入的数据都具有不同的分布,显然会给网络的训练带来困难。另一方面,数据经过一层层网络计算后,其数据分布也在发生着变化,此现象称为Internal InternalInternal Covariate CovariateCovariate Shift ShiftShift,接下来会详细解释,会给下一层的网络学习带来困难。batchnorm batchnormbatchnorm直译过来就是批规范化,就是为了解决这个分布变化问题。

posted @ 2019-04-29 10:07 胡里糊涂 阅读(...) 评论(...) 编辑 收藏