2020年6月24日
深度学习梯度爆炸与梯度消失
摘要： 背景 了解深度学习中的梯度爆炸与消失的原因，及如何处理梯度爆炸与消失。 梯度消失 梯度消失是激活函数和权重矩阵初始化值，这两个因素决定的。 sigmoid函数，求导的最大值为0.25 根据链式求导法则：导数小于0.25，如果初始化的W值，再小于1，这样逐个相乘后，会导致偏差为0，最终导致网路中的参数 阅读全文
posted @ 2020-06-24 17:24 威威后花园 阅读(243) 评论(0) 推荐(0)
pycharm折叠代码快捷键
摘要： 所有代码折叠： ctrl + shift + - 所有代码展开：ctrl + shift + + 折叠某一点：ctrl + - 展开某一层：ctrl + + 阅读全文
posted @ 2020-06-24 09:10 威威后花园 阅读(7600) 评论(1) 推荐(0)