2024年10月7日
0x01 解决梯度消失和梯度爆炸的常用方法
摘要： 一、输入层 初始化权重 对于较深的网络，Xavier 初始化和 Kaiming 初始化是常用的方法。 Xavier 假设输入和输出的方差相等，它特别适用于 sigmoid 和 tanh 激活函数，因为它能帮助保持信号在这些激活函数中传播时的方差不变，防止梯度消失或爆炸。 Kaiming 特别设计用于 阅读全文
posted @ 2024-10-07 11:24 L1xxer 阅读(477) 评论(0) 推荐(0)