残差网络思路和思想

残差网络思路和思想

解决网路变深之后,前边的层次的网络权值得不到更新,梯度消失问题

就是通过跳层把,通过跳层连接的梯度更新成一样的,让网络变深。

前向和后项传播解决梯度弥散问题的思路。 而BatchNormalization(BN)、ResNet的skip
connection就是为了解决这个问题,BN通过规范化输入数据改变数据分布,在前传过程中消除梯度弥散

posted @ 2020-02-27 20:49  via~via~  阅读(...)  评论(...编辑  收藏