TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

TensorFlow2_200729系列---28、梯度消失和梯度爆炸是什么（杂）

一、总结

一句话总结：

对于多层的神经网络，当由后向前传播时，因为本来就有误差，传到某一层的时候，要么梯度不更新（梯度消失），要么梯度特别大（梯度爆炸），这两种情况都不能很好的更新网络

 

 

1、[784,w,h,b]中的b一般表示什么意思？

b表示batch，比如一个batch有多张图片，如果是分10类的话，那么输出可以写成[10,b]

 

 

 

 

二、内容在总结中

博客对应课程的视频位置：