第3次作业：卷积神经网络

第3次作业：卷积神经网络

一、视频学习问题总结

李佩：

*总结（Summary）*

卷积神经网络在分类、检索、检测和分割方面具有广泛的应用，例如人脸识别、图像生成等。传统的神经网络采用全连接处理图像问题，参数太多导致过拟合；卷积神经网络进行“局部关联、参数共享”一定程度上减少了参数数量，解决过拟合问题。深度学习经历“搭建神经网络结构”、“找到一个合适的损失函数”、“找到一个合适的优化函数”三部曲。而一个典型的卷积神经网络结构是由卷积层、池化层、全连接层交叉堆叠而成的。典型的神经网络结构有AlexNet，ZFNet，VGG，GoohleNet，ResNet等。AlexNet解决了梯度消失问题，使深度学习重回历史舞台；ZFNet相对AlexNet改动不大，有所提升；VGG是一个深度很深的网络，在迁移学习方面有很大的贡献。以上三种模型的效果不错，但存在参数太多的问题。GoohleNet通过减少全连接层，堆叠多个Inception层大大减少了参数数量，网络的训练速度更快，表征能力更强。ResNet在GoohleNet的基础上利用残差思想，避免了链式求导时0的存在，解决了梯度消失问题，而且非常灵活，甚至可以自己学习选择适合自己的模式，可以被用来训练非常深的网络。

https://blog.csdn.net/m0_54554114/article/details/120809158

*Question*

• 不太理解深度（channel）、卷积核、特征图之间的关系
• 一个卷积核对应一个特征图？
• channel的个数是什么？
• 卷积神经网络：局部关联、参数共享（如何理解参数共享？）

高可欣：

https://www.cnblogs.com/XIQI4/p/15412039.html

刘叶菲：

卷积神经网络(CNN 或ConvNet)是图像和视频深度学习的最流行算法之一。

像其他神经网络一样，CNN由一个输入层、一个输出层和中间的多个隐藏层组成。

特征检测层

这些层对数据执行三种类型操作中的一种，即卷积、池化或修正线性单元 (ReLU)。

分类层

在特征检测之后，CNN的架构转移到分类。 倒数第二层是全连接层(FC)，输出K维度的向量，其中K 是网络能够 预测的类数量。此向量包含任何图像的每个类进行分类的概率。 CNN架构的最后一层使用 softmax函数提供分类输出。

卷积

将输入图像放进一组卷积过滤器，每个过滤器激活图像中的某些特征。

池化

通过执行非线性下采样，减少网络需要学习的参数个数，从而简化输出。 修正线性单元(ReLU) 通过将负值映射到零和保持正数值，实现更快、更高效的训练。 这三种操作在几十层或几百层上反复进行，每一层都学习检测不同的特征。 性质 : 连接性 表征学习 生物学相似性

应用 : 计算机视觉

图像识别（image classification）

物体识别（object recognition）

行为认知（action recognition）

姿态估计（pose estimation）

神经风格迁移（neural style transfer）

自然语言处理

问题：

• 卷积核内容、参数是怎么得到的？
• 不理解inception的结构以及降维是怎么完成的

张春雪：

视频学习：https://www.cnblogs.com/2001glz/p/15417752.html

问题：

• Bias怎么得来的？
• 这几个经典模型分别在什么情境下使用？
• “局部关联，参数共享”如何实现？
• 损失函数如何选择？

二、代码练习

小组成员姓名	代码练习
李佩	https://blog.csdn.net/m0_54554114/article/details/120807851
高可欣	https://www.cnblogs.com/XIQI4/p/15412039.html
刘叶菲	https://www.cnblogs.com/ouc-2021rjgc/p/15415150.html
张春雪	https://www.cnblogs.com/2001glz/p/15416808.html