第四次作业:猫狗大战挑战赛
一.迁移学习
关键步骤
1.数据下载
下载并加载数据集,训练集含有Dog Cat的图片

2.数据集处理
(1)对图片进行预处理,全部处理成3x224x224(3表示RGB三色道)并将图片进行归一化处理(0,1)之间

(2)将测试集文件解压后添加到./dogcats/test/目录下,并在dsets中添加'test'值

添加后截图如下:


(3)查看dsets属性:

3.数据载入
(1)建立loader,分别从对应的目录里读取图片。valid 数据一共有2000张图,每个batch是5张,因此,下面进行遍历一共会输出到 400
同时,把第一个 batch 保存到 , linputs_tryabels_try,分别查看

(2)显示图片:

4创建 VGG Model
torchvision中集成了很多在 ImageNet (120万张训练数据) 上预训练好的通用的CNN模型,可以直接下载使用。
在本课程中,我们直接使用预训练好的 VGG 模型。同时,为了展示 VGG 模型对本数据的预测结果,还下载了 ImageNet 1000 个类的 JSON 文件。
在这部分代码中,对输入的5个图片利用VGG模型进行预测,同时,使用softmax对结果进行处理,随后展示了识别结果。可以看到,识别结果是比较非常准确的。


上述代码执行结果:

5.修改最后一层,冻结前面层的参数
VGG 模型如下图所示,注意该网络由三种元素组成:
卷积层(CONV)是发现图像中局部的 pattern
全连接层(FC)是在全局上建立特征的关联
池化(Pool)是给图像降维以提高特征的 invariance
VGG:
我们的目标是使用预训练好的模型,因此,需要把最后的 nn.Linear 层由1000类,替换为2类。为了在训练中冻结前面层的参数,需要设置required_grad=False。这样,反向传播训练梯度时,前面层的权重就不会自动更新了。训练中,只会更新最后一层的参数。



6.训练并测试全连接层
包括三个步骤:
第1步,创建损失函数和优化器;
第2步,训练模型;
第3步,测试模型。



测试模型(此时用的时valid中的数据,带有标记的数据)


用test测试集测试模型:


由于不是标记的,所以准确率没有参考意义!!!
7.数据写入文件(此部分借鉴了2组的写法)

由于在数据预处理阶段,进行了略有差别的操作,所以,此部分代码在其原有的基础上进行了一些改动

结果展示:
未排序的结果

后续操作需要在文件里将数据进行排序后保存在提交,不然只有0.1的分数(亲身经历过的)
排序后的结果:

8.测试结果截图


浙公网安备 33010602011771号