背景：
如果模型的参数太多，数据量又太小，则容易产生过拟合。为了解决过拟合，就同时驯良多个网络。然后多个网络取均值。于是、费时！
介绍：
在前向传播的时候，让某个神经元以一定的概率p停止工作。这样可以使得模型泛化能力更强。
具体流程：
i.随机删除（临时）网络中一定的隐藏神经元，输入输出保持不变，
ii.让输入通过修改后的网络。然后把得到的损失同时修改后的网络进行反向传播。在未删除的神经元上面进行参数更新
iii.重复该过程（恢复之前删除掉的神经元，以一定概率删除其他神经元。前向传播、反向传播更新参数）
注意：
经过上面屏蔽掉某些神经元，使其激活值为0以后，我们还需要对向量y1……y1000进行缩放，也就是乘以1/(1-p)。如果你在训练的时候，经过置0后，没有对y1……y1000进行缩放（rescale），那么在测试的时候，就需要对权重进行缩放。
参考链接：https://zhuanlan.zhihu.com/p/38200980 --原文章作者：Microstrong
浙公网安备 33010602011771号