强化学习算法基准测试：6种算法在多智能体环境中的表现实测

强化学习作为机器学习领域的重要分支，通过智能体与环境的交互来学习最优决策策略。在单智能体环境中，智能体面临的是相对静态的环境动态，而多智能体环境则引入了更为复杂的交互机制和竞争关系，这为强化学习算法的设计和评估带来了全新的挑战。

现实世界中的许多决策问题涉及多个智能体的同时参与，如游戏对战、市场竞争和协作任务等。在这些场景中，每个智能体的行为不仅影响自身的收益，还会直接改变其他智能体所面临的环境动态。这种相互依赖关系使得传统的单智能体学习方法面临非平稳性、探索-利用权衡复杂化等新挑战。

本文构建了多智能体强化学习的系统性评估框架，选择井字棋和连珠四子这两个具有代表性的双人博弈游戏作为基准测试环境。通过引入模型动物园策略和自我对战机制，研究探索了各种表格方法在动态对抗环境中的学习能力和收敛特性。

实验结果揭示了表格方法在不同复杂度游戏中的显著性能差异：在状态空间相对较小的井字棋中，Q-learning和同策略蒙特卡洛方法表现优异；而在状态空间指数级增长的连珠四子游戏中，所有表格方法均未能产生有效策略。这一发现不仅验证了理论分析的正确性，更为后续转向函数逼近技术提供了强有力的实证支撑。

本文建立了多智能体强化学习的标准化评估流程，系统比较了各种表格方法在竞争环境中的性能表现，并通过实证分析明确了表格方法的适用边界，为深入理解强化学习算法的可扩展性问题提供了重要参考。

GridWorld环境下的算法实现与性能分析

本节将系统回顾所采用的强化学习方法，以及在单智能体游戏环境（特别是不同规模的GridWorld环境）中观察到的性能表现。

蒙特卡洛方法的原理与实现

蒙特卡洛方法作为无模型学习方法，通过采样完整回合来基于经验回报估计价值函数。这种方法在概念上具有简洁性和高度可解释性特征，动作评估完全基于实际执行结果。然而，该方法对回合终止的依赖性以及采样回报的高方差特性可能对学习效率产生负面影响。

研究中实现了同策略MC控制方法，该方法通过改进用于数据生成的策略（如ε-贪心策略）来优化性能。同时实现了异策略MC控制方法，该方法使用重要性采样技术纠正分布差异，从而学习与数据生成策略不同的贪心策略。

实验结果表明，同策略MC方法在GridWorld环境中表现出人意料的优异性能。这一现象可能归因于其简洁无偏的算法特性。此外，研究采用的中间奖励设计有效引导模型向目标状态收敛，从而缓解了MC方法仅收集稀疏奖励且需在完整回合后更新的固有局限性。

时序差分方法的理论基础与算法实现

时序差分方法通过基于自举机制的估计更新，在动态规划和蒙特卡洛方法之间建立了有效的桥梁。该方法通过结合观察奖励与估计的未来回报，实现从不完整回合中的学习。与蒙特卡洛方法的显著区别在于，TD方法在每个时间步后即可执行更新，从而具备更高的数据效率和在线学习适应性。

研究实现了四种关键的TD方法：Sarsa作为同策略方法，基于实际执行的动作进行价值更新；Q-learning作为异策略方法，利用下一状态中的贪心动作进行更新；Expected SARSA通过在当前策略下对所有可能后续动作进行期望计算来更新价值；Double Q-learning通过解耦动作选择与价值评估过程来有效缓解过估计问题。

基准测试结果显示，TD方法在选定任务中表现符合预期，其中Q-learning和Sarsa展现了相对优异的性能。然而，由于实验过程中涉及的方差因素，难以得出确定性的性能排序结论。

TD-n方法的扩展机制与性能分析

TD-n方法通过将多个未来时间步信息纳入更新过程，实现了对单步TD方法的有效扩展。这种机制在偏差与方差之间建立了灵活的权衡关系：增加步数能够捕获更长期的决策后果，但同时会引入更多的不确定性。

实验中采用了Sarsa-n方法，将传统Sarsa算法推广到n步回报计算。同时实现了n步树备份方法，这是一种更具通用性的异策略方法，通过备份期望值而非单一样本来进行价值更新。

实验结果显示，n步树备份方法实际上是所有测试方法中性能最优的。这一结果可能源于该方法成功结合了异策略方法的优势与同策略方法的稳定性特征。相比之下，Sarsa-n在所有方法中表现相对较差，这可能是由于在单次更新中结合多个时间步信息引入了额外的偏差和方差。

 

https://avoid.overfit.cn/post/a1b5e09228344eafa89914172f1b4a17