Dropout

 Dropout在训练过程中，随机地忽略部分神经元，即是在正向传播的过程中，这些被忽略的神经元对下游神经元的贡献暂时消失，在反向传播过程中，这些神经元也不会有任何的权重更新。

 

每一批次数据，由于随机性提出神经元，使得网络具有一定的稀疏性，从而能减轻了不同特征之间的协同效应。而且由于每次被剔除的神经元不同，所以整个网络神经挖元的参数也只是部分被更新，消除减弱了神经元间的联合适应性。增强了神经网络的泛华能力和鲁棒性。Dropout只在训练时使用，作为一个超参数，然后在测试集，并不能使用。

 

Dropout被广泛以后应用于全连接网络，而在卷积层，因为卷积 层本身的稀疏性和Relu激活函数的使用。Dropout在卷积隐层中使用较小。