7.5.6 争议

Batch Norm就可以在一定程度上解决协变量偏移问题，其通过将每一层的\(\text{z}^{[l]}\)标准化，可以大概固定\(\text{z}^{[l]}\)，无论输入是怎么样的。也就是说，这样子在一定程度上让各层的输入数据是独立的（输入数据都可以看做时来自均值为\(0\)方差为\(1\)的分布），于是各层的训练也是独立的，所以输入偏移一点对结果的影响不是很大，也就可以在一定程度上解决协变量偏移的问题
Batch Norm也有正则化的效果。简单来说，就是我们是在小批量上面做Batch Norm，于是得到的均值和方差带有一定的噪声，所以就跟暂退法一样，给每一层添加了一些噪声，所以就有正则化的效果。从这一点可以知道，无论是暂退法还是Batch Norm，小批量的批量大小越大，正则化的效果就越弱，因为此时越接近整个数据集。当然，Batch Norm的主要目的不是正则化项，所以千万不要把他当做正则化项来用