11.1.2 深度学习中的优化挑战

以前我们对局部最优解的理解不是非常准确。实际上，在高维空间中的某一个点的梯度为\(0\)，意味着其四面八方的极小一段区域都是平的，但是不代表其是极值点，因为要让每个极小区域都向上或者向下的概率是非常小的，我们更多遇到的应该是鞍点，如下

也就是一些方向是向上的，另一些方向是向下的
也就是局部最优点不太是个问题，其实更大的问题是一个叫停滞区的东西，如下

可以看到，坡度很平，于是我们的迭代速度就很慢，所以训练速度就很慢，这个时候就要用Adam等算法来改进了