第3次作业：卷积神经网络

I.视频学习心得及问题总结：

卷积神经网络经常运用于检测，分类，分割，人脸识别，等

一个典型的卷积网络是由卷积层，池化层，全连接层交叉堆积而成

卷积神经网络典型结构：AlexNet，ZFNet，VGG，GoogleNet，ResNet

AlexNet为8层结构，其中前5层为卷积层，后面3层为全连接层。

加入了LRN操作，将响应较大的值变的相对更大，抑制其他较小的神经元，进一步提高模型的泛化能力，但会增加前馈，反馈时间。

引用ReLu激活函数，成功解决了Sigmoid在网络较深时的梯度弥散问题。

使用最大值池化，避免平均池化的模糊化效果。并且，池化的步长小于核尺寸，这样使得池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。

AlexNet在两个GPU上运行，加速运行

采用数据增强方法，减少模型过拟合现象，提升模型的泛化能力

II.代码练习

MNIST数据集分类

 

1.加载数据

 

 

 

2.创建网络

 

 

 

 

 

 3.在小型全连接网络上练习

 

 4.在卷积网络上练习

 

 5.打乱像素顺序再次练习

 

 

 

 

 

 CIFAR10 数据集分类

 

 

 

 

 

 

 

 

 

 

 

 使用 VGG16 对 CIFAR10 分类