AlexNet梳理

创新点

• 成功的使用relu函数替代了sigmoid函数，解决了使用sigmoid的梯度消散问题
• 成功的在全连接层使用dropout
• 成功的使用重叠最大池化
• 提出了LRN
• 利用GPU进行运算
• 数据增强256×256裁224×224并flip，RGB的PCA处理

relu函数的优点

• 增加非线性
• 增加网络的稀疏性
• 函数比较简单，训练速度快
• 解决了sigmoid的梯度消散问题

softmax的作用

• 概率和为1
• 操作后没有概率小于零

网络结构

使用了那些防过拟合的手段

• dropout
• 数据增强：
    大图裁剪小图及flip
    RGB变换
• 重叠池化