第三次作业视频心得

卷积神经网络

1. 应用

分类、检索、检测、分割

更具体的有：人脸识别、基于人脸识别技术识别遗传病、表情识别、图像生成、图像风格转化、自动驾驶

2. 传统的神经网络vs卷积神经网络

深度学习三部曲

    1搭建神经网络结构

    2找到合适的损失函数

    3合适的优化函数

3. 损失函数：

  衡量吻合度、调整w/参数

4. 传统全连接处理图像问题：

  参数太多：权重矩阵参数太多->过拟合

5. 卷积：

  局部关联，参数共享

6. 相同之处：

  分层结构，卷积层，激活层，池化层，全连接层

7. 卷积convolutional layer

  一维卷积常用于信号处理，计算信号的延迟累计

  二维：图像以二维矩阵输入到神经网络

  输入，卷积核，步长，特征图（N-F+padding*padding）/步长+1，（需要填充），零填充

8. 池化Pooling

   保留主要特征的同时减少参数和计算量，防止过度拟合，提高泛化能力

   一般处于卷积层之间，全连接之间

   分类：最大值池化、平均值池化

9. 全连接

  参数量大，通常在卷积神经网络尾部

10. Alex net

 大数据训练，非线性激活函数ReLU,防止过度拟合，双GPU

11. ReLU

1解决了梯度消失问题

2计算速度快

3收敛速度快于sigmoid

12. ZFNet

   与Alex net区别不大，只是修改了部分参数

13. VGG(16-19)

14. GoogleNet

 22个带参数层，考虑pooling就是27层

 参数量减少AlexNet的1/12

 没有FC层

15. ResNet

 深度152层

问题：

1. 感觉池化和卷积的形式有点像，他们的差别大吗

2. 深度：depth/channel

3. Sigmoid和relu的对比看着懂，但是不太理解