如何理解dropout？

dropout百度翻译有退学者的意思，我觉得还挺恰当的。

它的核心思想就是让一些节点不参与学习，也就是退学。

可以想象这样一个网络，识别人的网络，这个网络可以分为四个部分，左脸友脸，左边身子右边身子，一般的网络会同时识别这四个部分，但是根据我们的经验，一般只需要半张人脸就可以知道TA是谁了。

dropout就是随机的使一些节点不参与任何计算，也就是不向前也不向后传播。一般而言dropout rate设置在0.3-0.5之间。

这样也就是只看图片的一部分，来识别图片。

如果恰好有人脸的，那么运气足够好，可以学到很棒的特征，如果遇到只有身体部分的，那么通过这种微小的特征识别来学习的一定会造成过拟合。

那么dropou是如何提高模型稳定性和鲁棒性的呢？

可以这样想，如果模型恰好遇到有人脸的模型就可以很好的识别，如果遇到身体的则效果不佳，还会过拟合。但是更多的时候会有部分人脸和部分人体出现，这样人脸的特征在不断被强化，而身体的部分，由于是多个类型的dropou共同作用，可以降低一次过拟合带来的影响。

 

具体可以参考这篇文献，讲的比较好，本文只是对于这篇文献的一点自己想法的补充

https://zhuanlan.zhihu.com/p/77609689