第3次作业：卷积神经网络

张大滨：

视频学习心得：

通过观看视频我了解了机器学习的三要素是模型、策略和算法，而神经网络在对输入进行变换的时候也可以对矩阵进行方向变换和尺度变化。而矩阵用保留奇异值来进行数据降为，现在不同图片的格式就是不同的压缩方式。现在机器学习的三要素都有概率形式和函数形式，但是两者是可以相互转化的。而机器学习也存在过拟合和欠拟合的情况。同时我也了解了“深度学习三部曲”：首先搭建神经网络结构，在找到一个适合的损失函数，最后再找到一个适合的优化函数，更新参数。对于卷积和池化我也有了一定了解。

问题总结：

对于

GoogleNet和ResNet我还是不是很明白。

代码练习： MNIST 数据集分类：

CIFAR10 数据集分类：

使用 VGG16 对 CIFAR10 分类：

想法和解读:

CNN 能够对于规整的数据更好的挖掘所以含有相同参数的 CNN 效果要好于简单的全连接网络，但是打乱像素后效果没有简单的全连接网络好。

邓腾跃：

视频学习心得：

机器学习中主要用到的数学知识有概率论、线性代数、信息论、微积分（梯度下降），从输入图像到输出图像所经过的线性变换也就是升维、平移、旋转等；对于线性代数中的秩可以从线性方程组和数据点分布的角度来理解，对于秩在深度学习中的应用，他可以用来数据降维，低秩近似；机器学习的三要素是模型、策略和算法，模型是对要学习问题映射的假设，策略是从假设空间中学习选择最优模型的准侧，算法是根据目标函数求解最优模型的计算方法。对于卷积学习网络，其应用范围非常广泛，深度学习一般要分为以下几个步骤：搭建神经网络结构、找到一个合适的损失函数、找到合适的优化函数，更新参数。传统的神经网络参数太多，会导致过拟合，而卷积神经网络局部关联、参数共享。典型的卷积神经网络有AlexNet，之后出现了ZFNet，其结构与AlexNet相同，只是改了一些相应的参数，VGG是一个更深的神经网络，GoogleNet改变了Alexnet的结构，其参数数量大大减小，最后是ResNet，这是一个非常深的神经网络，但不会出现梯度消失的问题。

问题总结：图像的展平操作是如何展平的；未激活的输出层是什么意思，为什么要特殊标注为未激活。

代码练习： MNIST 数据集分类：

</center> CIFAR10 数据集分类：

使用 VGG16 对 CIFAR10 分类：

想法和解读:

编写深度学习代码一般需要经过以下几个步骤：首先需要导入相应的包和数据集，创建相应的网络，再定义训练函数和测试函数，然后再进行模型训练，将训练好的模型进行保存，最后用训练好的网络进行测试。使用卷积神经网络相较于传统的神经网络有较好的分类效果。

李昊阳：

视频学习心得：

通过对于视频的学习，了解到了卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络。卷积神经网络的隐含层包含卷积层、池化层和全连接层3类常见构筑，在一些更为现代的算法中可能有Inception模块、残差块等复杂构筑。在常见构筑中，卷积层和池化层为卷积神经网络特有。在处理图像这样的高维度输入时，让每个神经元都与前一层中的所有神经元进行全连接是不现实的。相反，我们让每个神经元只与输入数据的一个局部区域连接。该连接的空间大小叫做神经元的感受野，它的尺寸是一个超参数。在深度方向上，这个连接的大小总是和输入量的深度相等。

代码练习： MNIST 数据集分类：

CIFAR10 数据集分类：

使用 VGG16 对 CIFAR10 分类：

想法和解读:

了解到了如何使用 PyTorch 进行CNN的训练与测试和池化与卷积操作的作用深度卷积神经网络中，有如下特性很多层: compositionality 卷积: locality + stationarity of images 池化: Invariance of object class to translations 含有相同参数的 CNN 效果要明显优于简单的全连接网络，是因为 CNN 能够更好的挖掘图像中的信息，主要通过两个手段：卷积：Locality and stationarity in images；池化：Builds in some translation invariance、

古文祥：

视频学习心得：

B站上的视频理解起来不是很难，就像讲解的专家所说的那样，这个ResNet主要是看着神经网络层的那个图来进行代码编写。但是光看他的代码和老师给的样例就想要去掌握并运用ResNet还是有很大的困难的。这也需要我们自主去看一些课外的东西，才能比较好的上手。

代码练习： MNIST 数据集分类：

CIFAR10 数据集分类：

使用 VGG16 对 CIFAR10 分类：

刘路：

视频学习心得：

深度学习与数学密切相关，概率是基础，梯度下降是神经网络共同的基础，选用合适的函数对于数值计算的难易度是很重要的。最适合的模型，也是通过大量的数据训练最后选出的最适合的参数模型，但是并不是完全没有误差，而是选择误差最小的模型。脱离具体问题，谈什么算法更好，毫无意义。传统神经网络能用到计算机视觉上，但是相较于卷积神经网络容易出现过拟合，卷积神经网络可以通过局部关联，参数共享等方式解决。卷积神经网络由卷积、池化、全连接构成，在图像处理中，图像是以二维矩阵的形式输入神经网络，因此需要二维卷积。池化相当于缩放特征图，减少参数和计算量。全连接层参数量通常最大。 问题总结：损失函数这一部分不是很明白。以及卷积神经网络相关概念不是很理解。

代码练习： MNIST 数据集分类：