《GPU-Accelerated Atari Emulation for Reinforcement Learning》

《GPU-Accelerated Atari Emulation for Reinforcement Learning》

In other words, the CuLE environments
are larger in number, but in a vanilla implementation they
explore the temporal dimension of the simulated games less
efficiently, in a throughput-oriented manner. We analyze as
well the effect of code divergence on the FPS metric, show
that these two peculiarities of CuLE do not significantly
affect the convergence of well-established DRL algorithms,
such as PPO [23] and A2C+V-trave [7].

翻译如下：

换句话说，CuLE 环境在数量上更多，但在原始实现中，它们以面向吞吐量的方式对模拟游戏的时间维度探索效率较低。我们还分析了代码差异对 FPS 指标的影响，并表明这两个 CuLE 的特殊之处并不会显著影响诸如 PPO [23] 和 A2C+V-trace [7] 等成熟的深度强化学习算法的收敛性。

本文的重点在于，对于 PPO [23] 和 A2C+V-trace [7] 这两个算法，并行强化学习的方法进行改进，对于数据量加大到一定程度后对算法性能的提升并不显著，这个时候加显卡还是加分布式的主机都不会对性能有太多提升。我想这一点，是比较有借鉴价值的。