8.非线性激活

 

 inplace是否在原变量上面进行改变。

 

经过非线性变换后的图片

 

 通过非线性的拟合，使得模型更加贴近事物的本质分布，离真相更加接近。

,Relu会使一部分神经元的输出为0,这样就造成了网络的稀疏性,并且减少了参数的相互依存关系,缓解了过拟合问题的发生