摘要: https://medium.com/analytics-vidhya/is-relu-dead-27943b50102 1、使用relu作为激活函数时,因其在输入小于0时,输出为0,所以可能会造成dead relu,使得输出和梯度都为0; 2、上述文章中使用了多种方式尝试去改善,包括更多层,更多数 阅读全文
posted @ 2019-12-01 22:25 牧马人夏峥 阅读(191) 评论(0) 推荐(0)