摘要:
1. 基本概念(Momentum vs SGD)Momentum 用于加速 SGD(随机梯度下降)在某一方向上的搜索以及抑制震荡的发生。GD(gradient descent)θt=θt−1−η∇Jθ(θ)⇒θ=θ−η∇J(θ)for i in range(num_e... 阅读全文
posted @ 2017-04-02 10:37
未雨愁眸
阅读(425)
评论(0)
推荐(0)
摘要:
1. 基本概念(Momentum vs SGD)Momentum 用于加速 SGD(随机梯度下降)在某一方向上的搜索以及抑制震荡的发生。GD(gradient descent)θt=θt−1−η∇Jθ(θ)⇒θ=θ−η∇J(θ)for i in range(num_e... 阅读全文
posted @ 2017-04-02 10:37
未雨愁眸
阅读(900)
评论(0)
推荐(0)
浙公网安备 33010602011771号