2019年12月1日
dead relu and Tensorboard
摘要： https://medium.com/analytics-vidhya/is-relu-dead-27943b50102 1、使用relu作为激活函数时，因其在输入小于0时，输出为0，所以可能会造成dead relu，使得输出和梯度都为0； 2、上述文章中使用了多种方式尝试去改善，包括更多层，更多数 阅读全文
posted @ 2019-12-01 22:25 牧马人夏峥 阅读(191) 评论(0) 推荐(0)