【DeepLearning】优化算法:SGD、GD、mini-batch GD、Moment、RMSprob、Adam

优化算法

1 GD/SGD/mini-batch GD

GD:Gradient Descent,就是传统意义上的梯度下降,也叫batch GD。

SGD:随机梯度下降。一次只随机选择一个样本进行训练和梯度更新。

mini-batch GD:小批量梯度下降。GD训练的每次迭代一定是向着最优方向前进,但SGD和mini-batch GD不一定,可能会”震荡“。把所有样本一次放进网络,占用太多内存,甚至内存容纳不下如此大的数据量,因此可以分批次训练。可见,SGD是mini-batch GD的特例。

2 动量梯度下降

一个有用的方法:指数加权平均

假如有N天的数据,\(a_1,a_2,a_3,...,a_N\)

如果想拟合一条比较平滑的曲线,怎么做呢。可以使用指数加权平均。概括的说,就是平均前m天的数据作为一个数据点:

\(b_0=0\)

\(b_t = \beta*b_{t-1} + (1-\beta)*a_t\)

比如\(\beta\)取0.9,那么就相当于是平均了10天的数据,这会比较平滑。

为什么叫指数加权平均?是因为,将\(b_t\)计算公式中的\(b_{t-1}\)展开,依次展开下去,会发现:

\(b_t = \beta*(\beta*b_{t-2}+(1-\beta)*a_{t-1})+(1-\beta)*a_t\)

合并一下,前面的数据乘以\(\beta\)的m次方的平均值。因此叫做指数加权平均。

指数加权平均的偏差修正:

很显然,上面公式汇总,假如\(\beta=0.9\),是要平均前10天的数据,则前9天的数据,做加权平均,并没有足够的数据,这会导致前九天数据偏小。举例来说,第一天\(b_1\)仅仅是\(a_1\)的十分之一。可以做偏差修正:

\(b_0=0\)

\(b_t = \beta*b_{t-1} + (1-\beta)*a_t\)

\(b_t = \frac{b_t}{1-\beta ^t}\)

有了指数加权平均的基本知识,就可以讲Moment Gradient Descent。

带动量的梯度下降,他是为了加快学习速度的优化算法。假如参数W方向希望学的快一点,b方向学的慢一点。普通的梯度下降的结果可能恰恰相反,使得b方向学的比较快,从而引发震荡。所以想要让b方向学的慢一点,这时可以用动量梯度下降。算法如下:

For each epco \(t\):

​ cal \(dW,dB\) for each mini-batch.

\(V_{dW}=\beta*V_{d_W}+(1-\beta)*dW\)

\(V_{db}=\beta*V_{d_b}+(1-\beta)*db\)

\(W = W-\alpha*V_{dW}\)

\(b=b-\alpha*V_{db}\)

可见,就是将梯度做了指数加权平均。至于为什么叫动量梯度下降,可能是因为\(V_{dW}\)的计算式中,把\(dW\)看作加速度,把\(V_{dW}\)看作速度。

3 RMSprob

Root Mean Square prob。

这是另一种加快学习的方法。其基本思想也是让b学的慢一点,让W学的快一点,从而更快更准的趋向于最优点。

For each epco \(t\):

​ cal \(dW,dB\) for each mini-batch.

\(S_{dW}=\beta*S_{dW}+(1-\beta)*(dW)^2\)

\(S_{db}=\beta*S_{db}+(1-\beta)*(db)^2\)

\(W = W-\alpha*\frac{dW}{\sqrt{S_{dW}}}\)

\(b = b-\alpha*\frac{db}{\sqrt{S_{db}}}\)

可见,当梯度较大,则会使得\(S\)较大,从而使得更新变缓慢。

4 Adam

Adaptive Moment Estimation

这是比较普遍的适用于各种网络的一种方法。称作自适应的动量梯度下降。这是上面动量梯度下降和RMSprob的结合版本,效果比较好。两者做加权指数平均的时候,都做了修正。

For each epco \(t\):

​ cal \(dW,dB\) for each mini-batch.

\(V_{dW}=\beta_1*V_{d_W}+(1-\beta_1)*dW\)

\(V_{db}=\beta_1*V_{d_b}+(1-\beta_1)*db\)

\(S_{dW}=\beta_2*S_{dW}+(1-\beta_2)*(dW)^2\)

\(S_{db}=\beta_2*S_{db}+(1-\beta_2)*(db)^2\)

\(V_{dW}^{correction} = \frac{V_{dW}}{1-\beta_1^t}\)

\(V_{db}^{correction} = \frac{V_{db}}{1-\beta1^t}\)

\(S_{dW}^{correction} = \frac{S_{dW}}{1-\beta_2^t}\)

\(S_{db}^{correction} = \frac{S_{db}}{1-\beta_2^t}\)

\(W = W-\alpha*\frac{V_{dW}^{correction}}{\sqrt{S_{dW}^{correcti}}+\varepsilon}\)

\(b = b-\alpha*\frac{V_{db}^{correction}}{\sqrt{S_{db}^{correcti}}+\varepsilon}\)

可见,就是在RMSprob中,用动量梯度下降中的梯度指数加权代替梯度,同时所有指数加权项都做了偏差修正。另外,分母加了\(\varepsilon\),这是为了防止除以很小的数造成不稳定。公式中共有4个超参数,他们的取值经验是:

\(\alpha\):学习率,需要调试

\(\beta_1\):取0.9

\(\beta_2\):Adam的作者建议取0.999

\(\varepsilon\):取\(10^{-8}\),并不影响学习效果。

另外,值得注意的是,学习过程中可能有两种窘境,一是困在局部最优,另一个是遇平缓区学习的过慢。采用mini-batch下前者出现的概率很小,即使困在最优也能跳出来,前提是数据量足够。但后者比较棘手,Adam是个比较好的优化算法,一定程度上解决了这个问题。

5 学习率衰减

训练过程中,随着迭代次数,学习率相应减少。

在FB的一篇论文中,使用了不同时间段(迭代次数区间段)采用不同的学习率的方法,效果比较好。

posted @ 2019-03-25 19:05  pigcv  阅读(2036)  评论(0编辑  收藏  举报