1.2卷积神经网络基础补充（反向传播）

1、误差的计算

2、误差反向传播

3、权重的更新

——————————————————————————————————————————

1、误差的计算

交叉熵损失为常用的损失函数

 

 

2、误差反向传播

 

 

 3、权重的更新

使用整个样本集进行求解，损失梯度指向全局最优方向

使用分批次样本进行求解，损失梯度指向当前批次最优方向——>优化器（optimazer）

优化器：

• SGD

         

 

 

• SGD+Momentum

        

 

 

• Adagrad

        

 

 

• RMSProp

        

 

 

• Adam