Batch Normalization,拆开来看,第一个单词意思是批,出现在梯度下降的概念里,第二个单词意思是标准化,出现在数据预处理的概念里。

我们先来看看这两个概念。

 

数据预处理

方法很多,后面我会在其他博客中专门讲,这里简单回忆下

归一化,x-min/max-min,

标准化,包括标准差标准化,x-mean/std,极差标准化,x-mean/(max-min),

中心化,x-mean,

白化,pac-->归一化

 

梯度下降

梯度下降中 mini batch sgd 是比 sgd 更好的一种方法,因为min batch是平均梯度,使得梯度更平稳,容易收敛,而且batch能够并行计算,减少运算。

我们知道,在机器学习中,梯度下降是要归一化的,因为如果不归一化,y在各个维度上的量纲不一样,使得y的图形不规则,扁平或者瘦高,这样在求梯度时经常会歪歪曲曲,一般会陷入局部最优。

 

图示如下

 神经网络也是用的梯度下降,从这点来看,也是需要数据预处理的。

 

独立同分布 IID

在机器学习中有这个概念,意思是训练数据和测试数据需要服从同样的分布,这样才有意义,很好理解。

但是在深度学习中,训练和测试都是图片(cnn为例,图片为例),似乎不牵扯IID。

 

那这根batch normalization 有什么关系呢?

因为在神经网络中有层的概念,每一层都有输入,每一层的输入是上一层的输出,而输出是经过非线性函数的,非线性函数的取值都有特定的区间,这就和原始的输入在数据分布上存在很大不同,

此时需要用一定的方法统一数据分布。

 

神经网络的训练问题

神经网络层数越深,越是难以训练,收敛速度越来越慢,为什么呢?下面我以sigmoid函数为例简要说明。(后面我会专门写一篇激活函数的博客,详细阐述)

 

在数学建模时一般会要求样本服从正态分布,正态分布标准化后就是标准正态分布。图像如下

 

 可以看到标准正态分布95%的概率落在 [-2, 2] 之间

 

sigmoid 函数的特点是在绝大多数x上(除了-2到2的区间)取值要么无限接近于1,要么无限接近于0,而且,这种情况下其梯度无限接近于0,这就是神经网络梯度消息的本质,这也是sigmoid函数很难作为深度神经网络的激活函数的原因。

而 batch normalization 的作用是把x规范到0附近,此时其梯度很大,收敛很快。

 

scale and shift

batch normalization 虽然增加了梯度,但是同时我们发现,当x在0附近时,其函数非常接近于线性,这大大降低了模型的表达能力。

为了解决这个问题,作者又提出了 scale and shift,即y=scale*x+shift,这相当于是把数据从0向左或向右平移了一段并拉伸或压缩,使得y处于线性和非线性的交界处,这样既保证了较大的梯度,也保留了模型的非线性表达能力

scale 和 shift 通过训练学习到

 

到这基本就讲完 batch normalization 的原理了,下面看看具体怎么使用。

 

使用方法

之前讲到batch normalization使得神经网络每一层的输入变得规范,也就是说它是把 wx+b 变得规范,即用在线性变换之后,非线性变换之前。如图

 

总体计算方法如下

这里在标准化时分母加了个ε,是防止分母为0。

 

总结

batch normalization的优点

1. 提高神经网络的训练效率,避免梯度消失

2. 使得神经网络不依赖于初始值,方便调参

3. 抑制过拟合,降低dropout的使用,提高泛化能力

 

batch normalization的缺点

1. batch normalization 仍然有很多地方科学理论无法解释

2. batch大小对其效果影响很大,batch 很小时,其梯度不够稳定,收敛变慢,极端情况就是 sgd

 

 

2020-1-14 更新

1. 上面的博客中我写到 由于每层网络的输出作为新的输入 与 之前的输入不符合 iid,现在想想感觉不妥,

我稍微更正下,应该是 同一层网络,每次输入的数据由于经过了调整后的不同参数,很可能不服从 iid,故需要进行 BN

2. 初始化的参数虽然使得 wx+b 在 0 附近,但是随着参数的调整,很可能不在 0 附近,如果 BN,可以强行拉回 0 附近;

所以 BN 是为了把 激活函数的 输入 拉回 0 附近,故放在机会函数之前 ,即  wx+b --> BN --> 激活函数

 

 

参考资料:

https://www.cnblogs.com/guoyaohua/p/8724433.html

https://www.zhihu.com/question/38102762

https://blog.csdn.net/whitesilence/article/details/75667002

https://blog.csdn.net/liangjiubujiu/article/details/80977502