强化学习中慢速网络学习更快

在深度强化学习（RL）优化新解决方案时，若优化器倾向于靠近先前解决方案（即目标网络），将显著提升学习效率。某中心科学团队在NeurIPS 2022会议上提出新型优化器，通过近端更新技术应对RL特有的噪声干扰，确保神经网络权重平滑缓慢地变化。

核心机制

1. 双网络架构

   • 目标网络：保留上一轮迭代的权重解
   • 在线网络：通过最小化DQN目标函数寻找新解
   • 近端更新会推动在线网络向目标网络靠拢，其引力强度可调节以适配不同噪声环境

2. 性能优势

   • 在55款Atari基准测试中：
     • DQN Pro和Rainbow Pro版本分别超越原算法
     • Rainbow Pro实现40%相对性能提升
   • 参数更新幅度实验显示，近端更新使权重变化更平缓（见图表对比）

理论验证

研究团队将DQN建模为连续优化问题序列，证明当在线网络与目标网络距离较大时，近端更新会优先缩小两者差距。这种设计既能保持标准DQN更新的特性，又能有效抑制噪声带来的不稳定更新。

开源与展望

相关源代码已在GitHub发布。该成果表明，针对深度RL特点设计的优化算法改进能带来显著性能增益，为后续优化器研究提供了新方向。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）
公众号二维码