论文笔记(1)-Dropout-Improving neural networks by preventing co-adaptation of feature detectors
摘要：
Improving neural networks by preventingco-adaptation of feature detectors 是Hinton在2012年6月份发表的，从这篇文章开始提出dropout的相关理论。该文章中没有详细的理论说明，只是通过实验说明了dropout在大数据量的情况下是有效的。以下记录论文的重要部分1、为了防止overfitting，使用dropout的方式，在数据量较大的情况下比较有效果。2、hidden unit采用0.5的比例，随机被忽略。3、传统RBM的方式使用了权衰减策略，主要目的是防止过度拟合，一般的做法是正常的梯度项后增加一项，作为惩.. 阅读全文
posted @ 2014-01-27 20:36 alexanderkun 阅读(2771) 评论(1) 推荐(1) 编辑
