tensorflow(三十三)：技巧——动量，让学习率逐渐减小

一、动量

1、普通梯度更新与加上动量的梯度更新。

 

 解释：原先更新的方向是梯度方向，现在多了一个Z方向，即现在是结合了历史惯性。

 

 二、学习率缓慢减少

解释：学习率太大和太小都不太好