梯度消失和解决方案

引自:http://www.mamicode.com/info-detail-2716063.html

累乘中一个梯度小于1,那么不断累乘,这个值会越来越小,梯度衰减很大,迅速接近0。在神经网络中是离输出层近的参数,梯度越大,远的参数,梯度越接近0。根本原因是sigmoid函数的缺陷。

方法:

1、好的初始化方法,逐层预训练,后向传播微调。

2、换激活函数,用relu,leaky——relu。靠的是使梯度靠近1或等于1,避免了在累乘过程中,结果迅速衰减。

posted @ 2020-07-17 21:54  19l92y11p26  阅读(328)  评论(0编辑  收藏  举报
/*鼠标跟随效果*/ /* 点击爆炸效果*/
/*鼠标跟随效果*/
Live2D