seniusen

摘要： 1. 摘要 本文尝试解释为什么在深度的神经网络中随机初始化会让梯度下降表现很差，并且在此基础上来帮助设计更好的算法。 作者发现 sigmoid 函数不适合深度网络，在这种情况下，随机初始化参数会让较深的隐藏层陷入到饱和区域。 作者提出了一个新的参数初始化方法，称之为 Xavier 初始化，来帮助深度 阅读全文