2017年3月1日
神经网络之权重初始化
摘要： 权重初始化 模型权重的初始化对于网络的训练很重要, 不好的初始化参数会导致梯度传播问题, 降低训练速度; 而好的初始化参数, 能够加速收敛, 并且更可能找到较优解. 如果权重一开始很小，信号到达最后也会很小；如果权重一开始很大，信号到达最后也会很大。不合适的权重初始化会使得隐藏层的输入的方差过大,从 阅读全文
posted @ 2017-03-01 22:18 康行天下 阅读(17964) 评论(1) 推荐(0) 编辑