正则化输入

正则化输入就是把我们输入的X中的值给归一到0附近

比如我的输入是一张图片，也就是h * w * 3 的矩阵

那么我可以把其中的每个数 x - 120再除以120，使得我们输入的值围绕在原地附近

 

这样做的原因是，我们的learning_rate是固定的，对于一切的w,b都是同一个learning_rate

如果不进行正则化输入，可能会出现此时我的w的rate为0.1比较好，而此时b的rate为0.001，影响训练效果

 

再说一个自己的理解

正则化输入，让我们的神经网络的初始值在原点附近

拿二元分类举例子，正则化输入能让神经网络的输出在0.5附近，然后再进行训练

如果不正则化的话，很可能神经网络输出比较偏向0 或 1，减慢训练效果

 

但是，有一次我写神经网络的时候忘了做正则化输入了

对训练效果并没有什么影响

这个可能是因为在初始阶段，神经网络训练的非常快

对训练效果的优化没来得及感受到就过去了吧