机器学习之——学习率

 

梯度下降法公式：

求  

 

就是找到一个 能够最小化代价函数J() 

如何确保梯度下降正常工作？如何选择学习率a (learning rate )？ 今天就给大家总结一下学习率有关的知识

当学习率a选择过大可能出现随着迭代次数的增加，代价函数J() 越来越大，不会收敛。 这个时候就需要减小学习率。

数据家已经证明：只有学习率足够小，代价函数就应该随着迭代次数的增加而减小。

因此如果代价函数没有下降，一般都是学习率选的太大。但是也不能使学习率选的太小，因为如果太小，那么梯度下降算法可能收敛得比较慢。

总结：（1）如果 学习率a 太小，梯度下降算法可能收敛得比较慢

（2） 如果学习率a太大，梯度下降算法可能不会再每次迭代都下降，甚至不收敛。

通常我尝试选择 学习率a: 0.001,0.003,0.01,0.03,0.1,0.3, 1 

选择一个是梯度下降收敛效果比较好的 学习率a.