这是对之前的Momentum的一种改进,大概思路就是,先对参数进行估计,然后使用估计后的参数来计算误差
具体实现: 需要:学习速率 ϵ, 初始参数 θ, 初始速率v, 动量衰减参数α每步迭代过程:
posted on 2020-04-01 19:05 limingqi 阅读(1091) 评论(0) 编辑 收藏 举报
Powered by: 博客园 Copyright © 2024 limingqi Powered by .NET 8.0 on Kubernetes