传统神经网络中常用的regularization方法

1、basic choice

（1）通过一定的方式来缩小权重

（2）通过一定的方式将部分权重置为0

（3）weight-elimination regulizer

 

2、Early Stoppping

Early stopping方法可以控制VC dimension的大小，具体可结合validation方法来实现。