2017年2月17日
Understanding the difficulty of training deep feedforward neural networks
摘要： 本文作者为：Xavier Glorot与Yoshua Bengio。 本文干了点什么呢？ 第一步：探索了不同的激活函数对网络的影响（包括：sigmoid函数，双曲正切函数和softsign y = x/(1+|x|) 函数）。 文中通过不断的实验：1，来monitor网络中隐藏单元的激活值来观察它的饱和性；2. 梯度。 并且evaluate 所选择的激活函数与初始化方法（预训练被看作一种特殊... 阅读全文
posted @ 2017-02-17 22:14 殷大侠 阅读(6149) 评论(1) 推荐(2)