RESNET 迁移学习

之前的网络都面临梯度消失和过拟合问题
残差网络可以解决这个问题增加网络深度。

极大节约参数

网络结构图里面实线和虚线的区别

resnet 网络结构图

BN 层

训练时设为true 验证时false

迁移学习

使用别人预训练的模型训练自己的数据

使用迁移学习的优势:
1.能够快速的训练出一个理想的结果
2.当数据集较小时也能训练出理想的效果

常见的迁移学习方式:

1.载入权重后训练所有参数
2.载入权重后只训练最后几层参数
3.载入权重后在原网络基础上再添加一层全连接层，仅训练最后一个全连接层