卷积神经网络视频学习心得及问题总结

视频学习心得

绪论

卷积神经网络的基本应用：分类、检索、检测、分割、人脸识别、自动驾驶等。

Neural Network -> Cost Function -> Optimization

全连接网络处理图像的问题：参数太多->过拟合；卷积神经网络的解决方式：局部关联，参数共享

基本组成结构

卷积层（Convolutional Layer）是对两个实变函数（以实数作为自变量）的一种数学操作

$$
y = WX + b
$$

 

池化层（Pooling Layer）保留了主要特征的同时减少参数和计算量，防止过拟合，提高模型泛化能力

分类中倾向于最大值池化

全连接层（Fully Connected Layer），两层之间所有神经元都有权重链接

 

一个典型的卷积网络是由以上三层交叉堆叠而成

卷积神经网络典型结构

AlexNet

ReLU函数 与 Sigmoid函数相比，解决了梯度消失的问题（在正区间）；计算速度快；收敛速度快。

DropOut（随机失活），训练时随机关闭部分神经元，测试时整合所有神经元

data argumentation（数据增强）

GoogleNet

初衷：多卷积核增加特征多样性

 

问题总结

GoogleNet的几次Inception更新优化之处不是很明确；以及是如何通过增加小的卷积核减少参数的？

VGG的辅助分类器是如何解决梯度消失问题的？