dead relu and Tensorboard

https://medium.com/analytics-vidhya/is-relu-dead-27943b50102

1、使用relu作为激活函数时,因其在输入小于0时,输出为0,所以可能会造成dead relu,使得输出和梯度都为0;

2、上述文章中使用了多种方式尝试去改善,包括更多层,更多数据,改变初始化方式,使用leak relu(why)等都没有效果,最后使用了SELU解决了这个问题。

3、这篇文章主要是通过Tensorboard来观察dead relu这种现象,以前只会使用它来观察loss啊,accuracy等,以后也会观察下梯度了

posted @ 2019-12-01 22:25  牧马人夏峥  阅读(184)  评论(0编辑  收藏  举报