残差网络优点以及缓解梯度消失原因

个人学习使用，内容来源于网络，侵权删

• 信息流通与梯度传播：残差连接通过允许信息跳过多个层和帮助梯度更顺畅地回流，共同促进了网络中的信息流通和梯度传播。
• 模型深度与特征重用：残差网络能够构建更深的模型，并通过残差连接重用早期特征，提高了模型的表达能力和特征利用率。
• 表示能力与初始化简化：残差连接增加了模型的表示能力，并简化了网络初始化过程，使得模型更易于训练和优化。
• 正则化效果与通用性强：残差连接的正则化作用有助于减少过拟合，同时残差网络在各种任务上的出色表现显示了其强大的通用性和适应能力。

参考来源
残差网络为何有效，都有哪些发展？ - 情感计算-茂森的回答 - 知乎
残差神经网络为什么可以缓解梯度消失？
解决模型退化——深度残差网络ResNet