dropout 是神经网络用来防止过拟合的一种方法,很简单,但是很实用。

基本思想是以一定概率放弃被激活的神经元,使得模型更健壮,相当于放弃一些特征,这使得模型不过分依赖于某些特征,即使这些特征是真实的,当然也可能是假的。

 

大致步骤

1. 在神经元 H1 被激活后,随机生成一组数据 U1 和一个0-1的随机数 p

  H1 = np.maximum(0, np.dot(W1, X) + b1)
  U1 = np.random.rand(*H1.shape) < p 
2. U1中小于p的被置1,大于p的被置0
  H1 *= U1 
  p 越大,被置1的越多,被保留的神经元越多
 

使用方法

1. 只用在训练过程,测试过程不要使用    【你非要使用,也可以,代码是可以跑的】
  // 因为训练是为了得到一个稳定的模型,但是测试时是实实在在的个体,是什么,理论上预测就是什么,如果你丢掉部分特征,那就是其他个体了,或者一会是A,一会是B,导致输出不稳定
  // tf 会自动处理 dropout 的使用场景,即 tf 已经设定在训练时使用 dropout,测试时不使用
2. dropout 一般用在 pooling 之后