吴恩达深度学习课程第二课-改善深层神经网络

视频

第一周 深度学习的实用层面

1.1 训练，配置，测试训练集

• 学习完如何构建神经网络,接下来学习如何高效运行神经网络
• 数据集划分: train,dev,test: 在train中训练模型,利用dev选择最佳模型,利用test测试最终模型
  
  

1.2 偏差Bias，方差Variance

• 欠拟合(高偏差),过拟合(高方差)
  
  

1.3 处理欠拟合，过拟合方案

1.4 正则化Regularization

1.5 为什么正则化可以解决过拟合

• L2正则项将许多隐藏单元的影响减少了
  
  

1.6 dropout正则化

1.7 dropout的理解

• 计算机视觉领域，经常数据过少，容易产生过拟合，默认使用dropout方法

1.8 其他正则化方法

• 通过编码基于原数据增加训练数据
  
• 提前终止训练
  

1.9 归一化输入

• 使用u实现0均值化,使用sgma实现方差1，使用相同u,sgma变换训练集，测试集，验证集
• 归一化有利于代价函数更快找到最优解
  
  

1.10 梯度消失与梯度爆炸

• 对于深度神经网络,多项权重相乘,如果都小于1会使得梯度接近0(消失),如果都大于1,会使得梯度非常大(爆炸)
• 梯度爆炸导致权重跟新幅度大，梯度消失导致权重跟新缓慢
  

1.11 神经网路的权重初始化

• 可以不彻底的解决梯度消失与爆炸问题
• 借用高斯分布随机数初始化权重
  

1.12 梯度的数值逼近

1.13 梯度检验

• 矩阵转一个大向量
• 双边检验梯度，用欧氏距离检测近似度
  

1.14 梯度检验实现的技巧

第二周 优化算法

2.1 mini-batch 梯度下降

2.2 理解小批量梯度下降

2.3 指数加权平均

2.4 理解指数加权平均数

2.5 指数加权的偏差修正

2.6 动量梯度下降法

2.7 RMSprop

2.8 Adam优化算法

• 结合动量和RMSprop算法
  
  

2.9 学习率衰减

• 随时间进行减小学习率
  
  

2.10 局部最优问题

第三周 超参数调试,batch正则化和程序框架

3.1 调试处理

• 随机选择分布的超参数进行调试
  
• 先缩小区域，在小区域内寻找
  

3.2 为超参数选择合适的范围

• 网格均匀选取
  
• 随机取值
  
• 取值逐渐精细
  

3.3 超参数训练的实践Pandas VS Caviar

• 偶然灵感寻找超参数
  
• 观察模型调整：数据多使用第一个，数据少使用第二个
  

3.4 正则化网络的激活函数

• 归一化有利于网络训练
  

3.5 将Batch norm 拟合神经网络

3.6 Batch Norm有效

归一化所有输入特征使其均值为0方差为1可以加速神经网络得学习

• 改变数据的分布
  
• 使网络层更加稳定,有轻微的正则化效果
  

3.7 测试时的Batch Norm

3.8 softmax回归

• 进行除了2分类的多分类问题
• 4个分类输出四个分类的概率
• 将输出Z转换为和为1的0-1之间的映射即是概率
  
• 单层逻辑回归的神经网络模型就是线性划分模型
  

3.9 训练一个softmax分类器

3.10 深度学习框架

3.11 TensorFlow