RNN，LSTM，ResNet

神经网络的梯度更新

反向传播算法：神经网络中加速计算参数梯度值的方法 

 

 

 梯度下降算法 -> 随机梯度下降、动量随机梯度 

 

 凸优化：

几何意义，任取一个集合中的两点练成一条线段，如果这条线段完全落在该集合中，那么这个集合就是凸集

BN训练测试：

BN本质上是解决传播过程中的梯度消失问题