【强化学习的数学原理】课程笔记（四）——值迭代和策略迭代

目录

• 1. 值迭代 Value Iteration
• 2. 策略迭代 Policy Iteration
• 3. 截断策略迭代 Truncated Policy Iteration
• • 3.1 Policy Interation and Value Interation
  • 3.2 Truncated Policy Iteration

说明：本内容为个人自用学习笔记，整理自b站西湖大学赵世钰老师的 【强化学习的数学原理】课程，特别感谢老师分享讲解如此清楚的课程。

1. 值迭代 Value Iteration

$$\begin{array}{r}{v}_{k+1}=f(v_k)=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_k)k=1,2,3,\cdots \end{array}$$

算法可拆分为两步（矩阵向量形式适合做理论分析，元素形式适合实现，因此，以下先给出matrix-vector form，然后给出 element-wise form 说明 ）：

• step 1: policy update
  $${\pi }_{k+1}=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)$$
  where $v_k$ is given.

  Element-wise Form:
  $${\pi }_{k+1}=\arg \underset{\pi }{\max }\sum _a\pi (a|s)\underset{q_k(s,a)}{\underbrace{\left(\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_k(s^{\prime })\right)}},s\in S$$

  $${\pi }_{k+1}(a|s)=\{\begin{array}{ll}1& a=a_k^{\ast }(s)\\ 0& a\ne a_k^{\ast }(s)\end{array}$$

  where $a_k^{\ast }(s)=\arg \underset{a}{\max }{q}_k(a,s)$ , ${\pi }_{k+1}$ 被称为贪婪策略，选择最大的q-value.

• step 2: value update
  $$v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$$
  Element-wise Form:
  $$v_{k+1}(s)=\sum _a\pi (a|s)\left(\sum _{r}p(r|s,a)r+\gamma \sum _{s^{\prime }}p(s^{\prime }|s,a)v_k(s^{\prime })\right)=\underset{a}{\max }{q}_k(a,s)$$
  说明：$v_k$ 不是 state value, 不满足 Bellman equation.

例子：

2. 策略迭代 Policy Iteration

算法描述：给定一个随机策略 ${\pi }_0$

• step 1: policy evaluation(PE)

  计算 ${\pi }_k$ 的 state value(采用迭代方式，见Bellman Equation):
  $$v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$$

• step2: policy improvement(PI)
  $${\pi }_{k+1}=\arg \underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$$

3. 截断策略迭代 Truncated Policy Iteration

3.1 Policy Interation and Value Interation

Policy Iteration: start from ${\pi }_0$	Value Iteration: start from $v_0$
PE: $v_{{\pi }_k}=r_{{\pi }_k}+\gamma P_{{\pi }_k}{v}_{{\pi }_k}$	PU: ${\pi }_{k+1}=\underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }v)$
PI: ${\pi }_{k+1}=\arg \underset{\pi }{\max }(r_{\pi }+\gamma P_{\pi }{v}_{{\pi }_k})$	VU: $v_{k+1}=r_{{\pi }_{k+1}}+\gamma P_{{\pi }_{k+1}}{v}_k$

3.2 Truncated Policy Iteration

求解 Policy Iteration 的 PE 过程中，计算 $v_{{\pi }_k}$ 只计算 $j$ 步，当 $j=1$ 时，即为 Value Iteration，$j\to \infty$ 时为 Policy Iteration，其他值( $v_{{\pi }_k}$ 未收敛，此时写为 $v_k$ )时则为 Truncated Policy Iteration。即

Policy Iteration 和 Value Iteration 为 Truncated Policy Iteration 的特殊情况。算法如下：