《机器学习十讲》第九讲

源地址（相关案例在视频下方）：http://cookdata.cn/auditorium/course_room/10020/

《机器学习十讲》——第九讲（深度学习）

       应用

图像识别：IMAGENET。

机器翻译：Google神经机器翻译系统。

语音识别：

以往GMM-HMM传统方法一直未有突破，2011年使用DNN后获得较大突破，2015年，IBM再次将错误率降低到6.9%，接近人类的平均水平（4%）

游戏：DeepMind团队开发的自我学习玩游戏的系统。

       发展原因

大规模高质量标注数据集出现：IMAGENET

并行运算（如GPU）的发展

更好的非线性激活函数的使用：ReLU代替Logistic

更多优秀的网络结构的发明：ResNet，GoogleNet和AlexNet

深度学习开发平台的发展：TensorFlow，PyTorch和MXNet等

新的正则化技术出现：批标准化，Dropout等

更多稳健的优化算法：SGD的变种：RMSprop，Adam等。

       概念

神经元与感知机：

 

 由输入空间到输出空间的如下函数：

 

多层感知机（MLP）

定义：多个神经元以全连接层次相连，也称为前馈神经网络。

万能逼近原理：MLP能够逼近任何函数

 

 

 函数逼近：

误差函数：

由于深度学习的数据量非常大，所以之前的一些算法不能使用，可以使用随机梯度下降法SGD的一些变种。

梯度计算：后向传播BP

困境：

目标函数通常为非凸函数；极容易陷入局部最优解；随着网络层数增加，容易发生梯度消失或梯度爆炸问题。

机器学习与深度学习的区别：

机器学习需要人工选取特征；深度学习会自动学习有用的特征。

三个·思想：

特征学习（图像识别为例）：深度学习通过层次化的学习方式得到图像特征。

 

可以将深度学习视为非线性函数逼近器：

深度学习通过一种深层网络结构，实现复杂函数逼近。

万能逼近原理：当隐层节点数目足够多时，具有一个隐层的神经网络，可以以任意精度逼近任意具有有限间断点的函数。

网络层数越多，需要的隐含节点数目指数减小。

 

 

端到端学习：从原始输入直接学习到目标，中间的函数和参数都是可学习。

典型网络结构：

卷积神经网络（VGG / GoogleNet / AlexNet / ResNet）

循环神经网络（RNN）

自编码器（Autoencoder）

生成对抗网络（GAN）

 

卷积神经网络（CNN）：

适合处理网格型数据：物体识别，图片分类，2维网格。

全连接网络不适用于图像：像素大（参数爆炸）

CNN：卷积。（稀疏连接；参数共享；等变表示）

操作：

卷积操作：

卷积和：

池化

对于局部转换不敏感；在局部节点内进行操作；池化->降采样

不敏感：图中下方最左0.1改成0.2，0.3不会影响上方1.的变动

最大池化

CNN完整结构：

AlexNet：

 

VGG：

GoogleNet：

ResNet：

RNN：

适合处理训练型数据：自然语言处理等领域。

GAN：

 

 

 　　案例——基于卷积神经网络的人脸识别

#使用sklearn的datasets模块在线获取Olivetti Faces数据集。
from sklearn.datasets import fetch_olivetti_faces
faces = fetch_olivetti_faces()
#打印
faces

 

 该数据集包括四个部分：DESCR主要介绍数据来源；data以一维向量的形式存储了数据集中的400张图像；images以二维矩阵的形式存储了数据集中的400张图像；target存储了数据集中400张图像的类别信息，类别为0-39

#数据结构与类型
print("The shape of data:",faces.data.shape, "The data type of data:",type(faces.data))
print("The shape of images:",faces.images.shape, "The data type of images:",type(faces.images))
print("The shape of target:",faces.target.shape, "The data type of target:",type(faces.target))

#使用matshow输出部分人脸图片
import numpy as np
rndperm = np.random.permutation(len(faces.images)) #将数据的索引随机打乱
import matplotlib.pyplot as plt
%matplotlib inline
plt.gray()
fig = plt.figure(figsize=(9,4) )
for i in range(0,18):
    ax = fig.add_subplot(3,6,i+1 )
    plt.title(str(faces.target[rndperm[i]])) #类标
    ax.matshow(faces.images[rndperm[i],:]) #图片内容
    plt.box(False) #去掉边框
    plt.axis("off")#不显示坐标轴
plt.tight_layout()  

#查看同一个人的不同人脸特点
labels = [2,11,6] #选取三个人
%matplotlib inline
plt.gray()
fig = plt.figure(figsize=(12,4) )
for i in range(0,3):
    faces_labeli = faces.images[faces.target == labels[i]]
    for j in range(0,10):    
        ax = fig.add_subplot(3,10,10*i + j+1 )
        ax.matshow(faces_labeli[j])
        plt.box(False) #去掉边框
        plt.axis("off")#不显示坐标轴
plt.tight_layout() 

#将数据集划分为训练集和测试集两部分，注意要按照图像标签进行分层采样
# 定义特征和标签
X,y = faces.images,faces.target
# 以5:5比例随机地划分训练集和测试集
from sklearn.model_selection import train_test_split
train_x, test_x, train_y, test_y = train_test_split(X, y, test_size=0.5,stratify = y,random_state=0)
# 记录测试集中出现的类别，后期模型评价画混淆矩阵时需要
#index = set(test_y)

#使用柱状图显示训练集中40人每个人有几张图片
import pandas as pd
pd.Series(train_y).value_counts().sort_index().plot(kind="bar")

#在测试集中每个人有几张图片
pd.Series(test_y).value_counts().sort_index().plot(kind="bar")

# 转换数据维度，模型训练时要用
train_x = train_x.reshape(train_x.shape[0], 64, 64, 1)
test_x = test_x.reshape(test_x.shape[0], 64, 64, 1)

建立卷积神经网络人脸识别模型——CNN网络结构

#从keras的相应模块引入需要的对象。
import warnings
warnings.filterwarnings('ignore') #该行代码的作用是隐藏警告信息
import tensorflow as tf
import tensorflow.keras.layers as layers
import tensorflow.keras.backend as K
K.clear_session()
#逐层搭建卷积神经网络模型。此处使用了函数式api
inputs = layers.Input(shape=(64,64,1), name='inputs')
conv1 = layers.Conv2D(32,3,3,padding="same",activation="relu",name="conv1")(inputs) #卷积层32
maxpool1 = layers.MaxPool2D(pool_size=(2,2),name="maxpool1")(conv1) #池化层1
conv2 = layers.Conv2D(64,3,3,padding="same",activation="relu",name="conv2")(maxpool1) #卷积层64
maxpool2 = layers.MaxPool2D(pool_size=(2,2),name="maxpool2")(conv2) #池化层2
flatten1 = layers.Flatten(name="flatten1")(maxpool2) #拉成一维
dense1 = layers.Dense(512,activation="tanh",name="dense1")(flatten1)
dense2 = layers.Dense(40,activation="softmax",name="dense2")(dense1) #40个分类
model = tf.keras.Model(inputs,dense2)
#网络结构打印。
model.summary()

#模型编译，指定误差函数、优化方法和评价指标。使用训练集进行模型训练。
model.compile(loss='sparse_categorical_crossentropy', optimizer="Adam", metrics=['accuracy'])
model.fit(train_x,train_y, batch_size=20, epochs=30, validation_data=(test_x,test_y),verbose=2)

#评价
score = model.evaluate(test_x, test_y)
print('Test loss:', score[0])
print('Test accuracy:', score[1])

 

 使用TensorFlow进行数据增强，再进行一次训练

#数据增强——ImageDataGenerator
from tensorflow.keras.preprocessing.image import ImageDataGenerator
# 定义随机变换的类别及程度
datagen = ImageDataGenerator(
        rotation_range=0,            # 图像随机转动的角度
        width_shift_range=0.01,      # 图像水平偏移的幅度
        height_shift_range=0.01,     # 图像竖直偏移的幅度
        shear_range=0.01,            # 逆时针方向的剪切变换角度
        zoom_range=0.01,             # 随机缩放的幅度
        horizontal_flip=True,
        fill_mode='nearest')

#使用增强后的数据进行模型训练与评价
inputs = layers.Input(shape=(64,64,1), name='inputs')
conv1 = layers.Conv2D(32,3,3,padding="same",activation="relu",name="conv1")(inputs)
maxpool1 = layers.MaxPool2D(pool_size=(2,2),name="maxpool1")(conv1)
conv2 = layers.Conv2D(64,3,3,padding="same",activation="relu",name="conv2")(maxpool1)
maxpool2 = layers.MaxPool2D(pool_size=(2,2),name="maxpool2")(conv2)
flatten1 = layers.Flatten(name="flatten1")(maxpool2)
dense1 = layers.Dense(512,activation="tanh",name="dense1")(flatten1)
dense2 = layers.Dense(40,activation="softmax",name="dense2")(dense1)
model2 = tf.keras.Model(inputs,dense2)
model2.compile(loss='sparse_categorical_crossentropy', optimizer="Adam", metrics=['accuracy'])
# 训练模型
model2.fit_generator(datagen.flow(train_x, train_y, batch_size=200),epochs=30,steps_per_epoch=16, verbose = 2,validation_data=(test_x,test_y))
# 模型评价
score = model2.evaluate(test_x, test_y)
print('Test score:', score[0])
print('Test accuracy:', score[1])