论文阅读-2021.11.06

论文阅读-2021.11.06

Backward Q-learning: The combination of Sarsa algorithm and Q-learning

自适应Q-learning

算法描述

• 初始化Q表，设置 \(TH_P、TH_N、C、β和k\)
• 循环（轮次episode）：
  • 随机状态或初始化状态
  • 循环（步step）：
    • 根据Q表使用策略函数从状态 \(s_t\) 选择动作 \(a_t\)
    • 使用动作 \(a_t\) ，获得回报 \(r_{t+1}\)
    • 如果 $TH_N - kt < \max_aQ(s_{t+1},a) < TH_P + kt $ 那么：
      • $ \gamma_t (\delta, \gamma_{t-1}) = \gamma_{initial}$
      • \(\alpha_t (\delta, t) = \alpha_{initial}\)
    • 否则：
      • \(\gamma_t (t, \gamma_{t-1}) = tanh(t \gamma_{t-1} )\)
      • \(\delta = r_{t+1} + \gamma_t (t, \gamma_{t-1}) \max_a Q(s_{t+1} , a) - Q(s_t, a_t)\)
      • \(\alpha_t(\delta, t) = \tanh(\beta | \delta| / t)\)
    • \(T (t) = C / t, C ∈ N\)
    • \(Q(s_t , a _t) ← Q(s_t , a_t) + \alpha_t (\delta , t) \delta\)
    • $s_t ← s_{t+1} $
  • \(s_t\) 为终状态时结束循环
• 达到轮次上限时结束循环

其中，\(\beta, k ∈ R_+\) ，且 \(\beta ,k ≥ 1\) 。

Backward Q-learning（主要）

算法描述

• 随机初始化所有的 \(Q(s,a), M\) 和 \(\alpha_b , \gamma_b\)

• 对每一轮次：

  • 随机选择一个状态或初始化 \(s_t\)

  • 使用策略函数从Q表中选择 \(s_t\) 下的动作 \(a_t\)

  • 对每个时间步 \(N\)

    • 挑选动作 \(a_t^i\) 与环境交互，然后得到一个回报 \(r_{t+1}^i\) 和观察到的状态 \(s_{t+1}^i\)

    • 使用策略函数从Q表中选择 \(s_{t+1}^i\) 下的动作 \(a_{t+1}^i\)

    • 记录： $M^i ← s_t^i , a_t^i , r_{t+1}^i , s_{t+1}^i $

    • 根据下列公式更新 \(Q(s_t^i,a_t^i)\)

      \[Q(s_t^i,a_t^i) ← Q(s_t^i,a_t^i) + \alpha (r_{t+1}^i + \gamma \max_a Q(s_{t+1}^i,a) - Q(s_t^i , a_t^i)) \]

    • \(s_t^i ← s_{t+1}^i ; a_t^i ← a_{t+1}^i ; i ← i + 1\)

  • 达到最终状态 \(s_t\) ，退出循环

  • \(For \ j = N \ to \ 1\)

  • 根据下列公式，回溯更新 \(Q(s_t^j , a_t^j)\)

    \[Q(s_t^j,a_t^j) ← Q(s_t^j,a_t^j) + \alpha_b (r_{t+1}^j + \gamma_b \max _a Q(s_{t+1}^j , a) - Q(s_t^j,a_t^j)) \]

  • \(End \ for\)

  • 初始化 \(M\)

  • 用降温准则重新计算温度参数（存疑）

• 达到轮次上限，结束循环。