摘要： Policy Gradient Methods 之前学过的强化学习几乎都是所谓的‘行动－价值’方法，也就是说这些方法先是学习每个行动在特定状态下的价值，之后在每个状态，根据当每个动作的估计价值进行选择。这种方法可看成是一种‘间接’的方法，因为强化学习的目标是如何决策，这些方法把每个动作的价值作为指标 阅读全文

摘要： Eligibility Traces Eligibility Traces是强化学习中很基本很重要的一个概念。几乎所有的TD算法可以结合eligibility traces获得更一般化的算法，并且通常会更有效率。 Eligibility traces可以将TD和Monte Carlo算法统一起来。之 阅读全文

摘要： Planning and Learning with Tabular Methods 在强化学习中有一种划分方式可以将算法大体分成两大类，一类是需要模型来刻画环境的算法(model based)，如动态编程和启发等；另一类算法则不需要环境模型(model free)，如MC与TD等。model ba 阅读全文

摘要： n step Bootstrapping n step 方法将Monte Carlo 与 one step TD统一起来。 n step 方法作为 eligibility traces 的引入，eligibility traces 可以同时的在很多时间间隔进行bootstrapping. n ste 阅读全文