2018年12月16日
残差网络(Residual Network)
摘要： 一、背景 1）梯度消失问题 我们发现很深的网络层，由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。 可以看到，假设现在需要更新b1，w2,w3,w4参数因为随机初始化偏向于0，通过链式求导我们会发现，w1w2w3相乘会得到更 阅读全文
posted @ 2018-12-16 19:44 光彩照人 阅读(34088) 评论(0) 推荐(5)