使用fastai训练的一个性别识别模型

在学习了python中的一些机器学习的相关模块后，再一次开始了深度学习之旅。不过与上次的TensorFlow框架不同，这一次接触的是fast.ai这样一个东西。这个框架还不稳定，网上也没有相关的中文文档。唯一一个学习站点就是 fastai 这样一个论坛，另外就是里面的公开课程。

性别识别模型使用体验： http://www.ctsch.cn/?page_id=11

请确认上传的图片中有人，否则对于其他类型的图片，也就当男女论处，目前在它的世界中只有男女。

附上fastai项目的相关连接：

注意：

  • 在配置环境时使用 Anaconda,安装方法可以自行百度
  • 使用安装fastai训练模型时要安装GPU版本（前提是你有支持GPU的显卡），否则建议你不要用来训练模型，使用cpu训练会非常非常慢。当然GPU需要安装cuda和cudnn（安装步骤可以自行百度）。

Github上有相关的安装教程，能够成功安装，有问题可以在本文后留言，我会尽力回复。

在该课程的第一课就是一个利用神经网络识别猫狗。在这中间使用了resnet34模型进行训练。这个模型是在ImageNet数据集比赛上获得过优异成绩的模型，这个预训练使我们不需要自己构建神经网络，只要我们能会使用就可以了。这也算是第一课的基础导入吧。

下面要讲的内容，在视频中都可以找到，这里主要写一些我觉的使用fastai比较重要和特殊的地方

 

 
1
2
3
4
5
6
# 在fastai要建立一个model，只需要下面的三行就可以了，第四行是训练model
arch=resnet34 # 使用model
data = ImageClassifierData.from_paths(PATH, tfms=tfms_from_model(arch, sz)) # 图片数的组织类别
learn = ConvLearner.pretrained(arch, data, precompute=True) # 卷积神经网络的容器
learn.fit(0.01, 3) # 训练model
 

 

  • 要点一：训练、验证和预测数据的文件组织架构
    图片数据的存放形式：训练、验证和预测数据的文件组织结构
    trina/test/valid中的文件夹结构
    在每个分类(如：male、female)中存放的就是样本图片了。

     

  • 要点二： 解释上面代码中的learn.fit(0.01, 3)：
    我们现在使用的resnet34模型是一个在ImageNet数据集上训练好了的model，里面权重数据一个非常好了，不需要我们在进行改善什么，但我们需要根据我们自己的实际数据训练神经网络的最后一层权重。所以上面这个代码是训练model的最后一层。至于为什么，那是因为，resnet34预训练模型是使用ImageNet数据集训练的，他们的类别可能有1000类，所以模型的最后一层默认是1000维的，但是我们的数据分类只有两类—猫和狗。因此我们需要这一步骤。

  • 要点三： fastai中ConvLearner类有一个自动寻找最优学习率的函数 learn.lr_fint()
    我们知道，在神经网络中，学习率是一个非常重要的超参数，调节的不好，会导致模型不能收敛或者收敛的太慢。通过这个函数，它可以帮助我们在指定范围内自动找到最合适的学习率。我们可以通过learn.sched.plot_lr()函数绘制出学习率与训练轮数的关系；也可以通过learn.sched.plot()绘制出学习率与损失值得变化情况，从而选择出最合适的学习率。

以上是一些学习记录，下面开始训练性别识别模型。

使用resnet34训练性别识别模型

在训练之前首先要做的就是收集数据，数据是使用 GoogleImageDownloader 工具自动爬取的，在Google上爬了大概3500张图片，里面有些图片质量不够好，删除了之后大概还有2400张左右。

data and code url:  链接: https://pan.baidu.com/s/1TbvupSigvKJoQp8JrIFFOA 密码: sxqc

具体代码：

 

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import sys
import os
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
sys.path.append("/Volumes/05/jupyter/fastai")
 
from fastai.imports import *
from fastai.torch_imports import *
from fastai.transforms import *
from fastai.conv_learner import *
from fastai.model import *
from fastai.dataset import *
from fastai.sgdr import *
from fastai.plots import *
 
PATH = 'data/malefemale/'
sz = 224
 
# 使用resnet34model
arch = resnet34
data = ImageClassifierData.from_paths(PATH,tfms=tfms_from_model(arch, sz))
learn = ConvLearner.pretrained(arch, data, precompute=True)
 
# 第一次轻微训练最后一层
learn.fit(0.01, 3)
 
learn.fit(0.05, 5, cycle_len=1, cycle_mult=2)
 

 

第一次训练
在这一次的训练中，发现模型损失还有0.29，模型在验证上的正确率才到93%，模型还有优化的空间。

下面再一次构造模型并训练：

 

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
tfms = tfms_from_model(resnet34, sz,aug_tfms=transforms_side_on, max_zoom=1.1) # 通过转变角度，增加样本
data = ImageClassifierData.from_paths(PATH, tfms=tfms)
learn = ConvLearner.pretrained(resnet34, data, precompute=True)
 
learn.fit(0.01, 3)# 第一次训练最后一层，试探性
 
learn.fit(0.05, 5, cycle_len=1, cycle_mult=2) # 发现第一次训练有效果，在进一步训练
 
learn.precompute = False # 开启全部层都可以训练，对每层进行微训练
learn.fit([1e-4,1e-3,1e-2], 4, cycle_len=1) # 初步训练
 
learn.unfreeze()
learn.fit([1e-3,1e-3, 1e-2], 5, cycle_len=1, cycle_mult=2) # 发现上一次有效果，在进行深度训练
 

 

第二次训练loss
最后 模型在训练集上的loss到达了0.025，在验证集上的loss达到了0.18，在验证集上的正确率达到了 94.9%。在我多次训练后，发现这是最好的了，所以就没有再进行改进了。

但是，现在还没有完，我们现在要看看模型在数据集上的表现到底怎么样。下面，使用matplotlib库进行可视化分析：

可视化分析

首先获得模型的预测数据：

 

 
1
2
3
4
5
6
7
8
9
log_preds = learn.predict() # 预测所有的验证集，返回的 ln pi的数据
prob_preds = np.exp(log_preds) # 将对数概率转回正常的概率
y_pred = np.argmax(np.exp(prob_preds), 1) # 获取预测的分类，这里面是0，1数据，0表示女性，1表示男性
 
 
male_df = pd.DataFrame({'image':data.val_ds.fnames,'y_true':data.val_y, 'y_pred':y_pred, 'y_prob_female':prob_preds[:,0], 'y_prob_male':prob_preds[:,1]}) # 将所有的数据合并成pandas的DataFrame
 
male_df.head() # 输出下DataFrame
 

 

DataFrame输出结果

说明：

  • image 图片样本的路径
  • y_true 样本的真实类别
  • y_pred 样本的预测类别
  • y_prob_female 模型预测该样本为女性的概率
  • y_prob_male 模型预测该样本为男性的概率

1、查看模型的混淆矩阵

 

 
1
2
3
4
5
6
from sklearn.metrics import confusion_matrix
import seaborn as sns
 
mat = confusion_matrix(data.val_y, y_pred)
plot_confusion_matrix(mat, data.classes)
 

 

验证集样本的混淆矩阵
可以看到，在152个女性样本和143个男性样本中，有10张女性样本被错误的分成了男性，但仅有5个男性样本被错误的分词女性，可以看出模型在男性特征的学习中学习的较充足，到对女性特征学习还有待提高。出现这个情况的原因是在训练样本中男性样本比女多了近200个样本，因此模型学习男性的特征较多，因此判断更有把握。

2、查看模型在验证集中预测最有把握的样本

 

 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# 最有把握的女性
mostly_female = male_df[male_df['y_true']==0].sort_values(by='y_prob_female', ascending=False)
print('mostly female:')
 
fig, axes = plt.subplots(4,4, figsize=(20, 10))
for i,ax in enumerate(axes.flat):
    src = mostly_female.iloc[i]['image']
    ax.imshow(plt.imread(f'{PATH}{src}'))
    ax.text(0, 0, str(mostly_female.iloc[i]['y_prob_female']), fontsize=16)
    ax.axis('off')
 
# 最有把握的男性
mostly_male = male_df[male_df['y_true']==1].sort_values(by='y_prob_male', ascending=False)
print('mostly male:')
 
fig, axes = plt.subplots(4,4, figsize=(20, 10))
for i,ax in enumerate(axes.flat):
    src = mostly_male.iloc[i]['image']
    ax.imshow(plt.imread(f'{PATH}{src}'))
    ax.text(0, 0, str(mostly_male.iloc[i]['y_prob_male']), fontsize=16)
    ax.axis('off')
 

 

最有把握的女性
最有把握的男性
在这些样本中，男性和女性的外在特征都比较明显的显示出来了，因此模型的判断概率都是100%。

3、查看模型在验证集中预测错误最明显的的样本

 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# 预测出错最明显的女性
incorrect_female = male_df[(male_df['y_true']==0) & (male_df['y_pred']==1)].sort_values(by='y_prob_female', ascending=False)
print('incorrect female  to predict male:')
 
fig, axes = plt.subplots(2,4, figsize=(20, 10))
for i,ax in enumerate(axes.flat):
    src = incorrect_female.iloc[-i-1]['image']
    ax.imshow(plt.imread(f'{PATH}{src}'))
    ax.text(0, 0, str(incorrect_female.iloc[-i-1]['y_prob_female']), fontsize=16)
    ax.axis('off')
 
# 预测出错最明显的男性
incorrect_male = male_df[(male_df['y_true']==1) & (male_df['y_pred']==0)].sort_values(by='y_prob_male', ascending=False)
print('incorrect male  to predict female:')
 
fig, axes = plt.subplots(1,4, figsize=(20, 10))
for i,ax in enumerate(axes.flat):
    src = incorrect_male.iloc[-i-1]['image']
    ax.imshow(plt.imread(f'{PATH}{src}'))
    ax.text(0, 0, str(incorrect_male.iloc[-i-1]['y_prob_male']), fontsize=16)
    ax.axis('off')
 

 

female_err_most
male_err_most
从上面两幅图中可以看出，模型对于男女特征没有明显展示出来的样本（如马尾头发的样本）出错概率最大，另外从第一幅图的第四个样本看出，模型将具有肌肉的这样特征的样本认为是男性，这与我们生活中一般常识—–女性一般没有肌肉是吻合的。
在男性的错误样本中，我们可以看出模型在男性样本上的预测是很不错的。男性的第一个样本具有欺骗性，包括人类去识别可能也会出错，其他几个样本就是没有显示出男性特征，所以这个出错是可以容忍的。

总的来说，模型在预测时的表现是非常不错的，一般的有特征的图片都能正确识别，读者可以自行上传图片去试试。地址就在下面。

体验地址，上传图片就可以使用了。 http://www.ctsch.cn/?page_id=11

 

posted @ 2018-08-18 19:22  newAdmin  阅读(5424)  评论(0)  编辑  收藏  举报