第三次作业--卷积神经网络
视频学习心得及问题总结
柯家航
学习总结
- 卷积神经网络：一种广泛应用于计算机图像处理的算法，用途包括以下几项
- 分类
- 检索
- 分割
- 检测
- 图像风格化处理
- 搭建神经网络的三个重要步骤：Neural Network(初步搭建神经网络的结构)->Cost Function-（找到合适的损失函数）>Optimization（找到一个合适的优化函数），在这三个过程当中都有对应的算法进行支持
- 卷积神经网络可以改善全连接网络由于权重聚恒参数太多出现过拟合的情况，主要的优化思想是：
局部关联，参数共享 - 卷积的初步探究：卷积是对两个事变函数所进行的一种数学操作。y=wx+b，卷积的几个重要概念输入，卷积核，感受野，特征图，padding，深度，输出
- 池化：池化的主要目的是在保证图像主要特征的前提下尽可能减少参数和计算量，防止出现过拟合。池化有以下两种类型：
- 最大值池化
- 平均池化
- 卷积神经网络典型结构AlexNet：这中结构的特点在于可以进行大数据训练，同时加入了非线性激活函数ReLu，同时花样Dropout防止出现过拟合，具体网络执行过程如下
- 第一次卷积：卷积 ->ReLU->池化
- 第二次卷积：卷积->ReLu->池化
- 第三次卷积：卷积->ReLU
- 第五次卷积：卷积ReLU->池化
- 第六层：全连接->ReLU-DropOut
- 第八层：全连接->SoftMax
- 卷积神经网络典型结构：VGG，网络输入224*224的RGB网络网络有13个卷积层（conv3）、5个最大池化层（maxpool）、3个全连接层（FC）、1个softmax层（VGG16标准
- 卷积神经网络典型结构：ResNet，在这个网络当中采用的是一种找不同的思想，去掉相同的主题部分，从而突出微小的变化，这个模型可以被用来训练非常深的网络。
问题
- ResNet的使用场景
- 池化可以让模型更加泛化，但是如何确定哪一些信息是有用的、哪一些是没用的？
杜易凇
学习总结
- 1、卷积神经网络的应用：分类、检索、检测、分割、人脸识别、图像生成、图像风格转化、自动驾驶
- 2、卷积：对两个实变函数的一种数学操作
通过使用filter来进行卷积，根据步长stride来移动，如果不够卷积大小的话可以用padding来周围进行补0，公式：(N+2*padding-F)/stride+1 - 3、池化：Polling保留主要特征的同时可以减少参数和计算量，防止过拟合
Polling的类型有最大值池化和平均值池化，实验中一般选最大值池化（一般表现较好） - 4、全连接：一般放在卷积神经网络尾部
- 5、AlexNet结构：
运用非线性激活函数ReLU
通过Dropout, Data augementation防止过拟合
双GPU - 6、ZFNet：结构与AlexNet相同，更改了一部分参数
- 7、VGG：把AlexNet的深度加深到16和19层
- 8、GoogleNet：使用多卷积核来增加特征多样性，但是计算量过大，所以通过1*1卷积核进行降维；Inception V3进一步降低参数量以及增加非线性激活函数。除最后的类别输出层没有额外的全连接层。
- 9、ResNet：残差学习网络，152层深度
残差：去掉相同主体部分
可以训练非常深的网络
疑问
1、为什么padding补的是0，而不是选择其他值
2、不同结构的网络使用什么场景
刘佳成
学习总结
绪论
-
卷积神经网络应用:
- 分类
- 检索
- 检测&分割
- 人脸表情识别
- 图像生成(对抗生成网络)
-
传统神经网络vs卷积神经网络不同
- 深度学习三部曲
- 搭建神经网络结构
- 找到合适的损失函数(交叉熵损失cross entropy loss,均方误差MSE)
- 合适的优化函数,更新参数(反向传播BP,随机梯度下降SGD)
- 全连接网络处理图像的问题:参数太多,容易过拟合
- 卷积神经网络解决: 局部关联,参数共享(一行)
- 区别:CONY卷积、RELU激活、POOL池化、FC全连接（多一个RELU)
- 深度学习三部曲
基本组成结构
- 卷积，卷积核，0填充的技巧
- 池化——保留主要特征的同时减少参数和计算量，防止过拟合
- 最大值池化
- 平均池化
卷积神经网络典型结构
- AlexNet这中结构的特点在于可以进行大数据训练，同时加入了非线性激活函数ReLu，同时花样Dropout防止出现过拟合，具体网络执行过程如下
- 第一次卷积：卷积 ->ReLU->池化
- 第二次卷积：卷积->ReLu->池化
- 第三次卷积：卷积->ReLU
- 第五次卷积：卷积ReLU->池化
- 第六层：全连接->ReLU-DropOut
- 第八层：全连接->SoftMax
- VGG，网络输入224*224的RGB网络网络有13个卷积层（conv3）、5个最大池化层（maxpool）、3个全连接层（FC）、1个softmax层（VGG16标准
- ResNet，在这个网络当中采用的是一种找不同的思想，去掉相同的主题部分，从而突出微小的变化，这个模型可以被用来训练非常深的网络。
问题
- 过拟合是怎么回事？为什么会发生过拟合？
孙远宜
学习内容
通过这次视频学习，我认识到了卷积神经网络在我们生活中无处不在，我们在深度学习时可以先做一个表示，然后通过找一个合适的损失函数来评估我们的表示，然后再找一个优化函数来更新参数。卷积涉及了很多基本概念，了解了几个卷积神经网络典型结构的相关知识和优点，卷积神经网络是深度学习中的重要模型，极大地推进了图像分类、识别和理解技术的发展。通过与其他技术相结合，卷积神经网络可以应用于各种应用系统，使人工智能也迈向了影响深远的新时代。
学习问题
不太懂如何选择合适的损失函数，对于如何拟合还不太明白。
黄饴雯
学习内容
深度学习是学术界模仿人脑的“神经网络”，它用多层次的分析和计算手段，得到结果。深度学习分三个部分组成：输入、输出、模型。输入的东西通过深度学习中的单层感知器来输出结果，但是其存在偏差，输出不一定准确。为提高准确性，采用多层感知器来解决这一问题。
学习问题
深度波尔兹曼机
