学习日志-2021.11.08

学习日志-2021.11.08

其他Q-Learning

SA-Q-learning

为了平衡Q-learning的探索与利用，基于Metropolis准则提出的算法

算法描述

• 初始化Q表

• 对每一轮次（episode）：

  • 随机选择或初始化一个状态 \(s_t\)

  • 对于每一步（step）：

    • 从动作空间随机选择一个动作 \(a_r\)

    • 根据策略 \(\pi (s_t)\) （一般指Q-learning的 \(\epsilon - greedy\) 策略）从动作空间选择一个动作 \(a_p\)

    • 获取一个随机数 \(\zeta ∈ (0,1)\)

    • 如果 \(\zeta < \exp ((Q(s,a_r)-Q(s,a_p))/T)\) ，那么 \(a ← a_r\) ，否则 \(a ← a_p\)

    • 执行动作 \(a\) ，并获得一个收益 \(r_{t+1}\) 和当前的新状态 \(s_{t+1}\)

    • 根据下面的公式更新 \(Q (s_t , a_t)\)

      \[Q(s_t,a_t) ← Q(s_t,a_t) + \alpha (r_{t+1} + \gamma \max_a Q(s_{t+1},a) - Q(s_t , a_t)) \]

    • \(s_t ← s_{t+1}\)

  • 当（step）到达某一个目标状态时，结束循环

  • 使用温度下降公式重新计算温度参数 \(T\)

• 当轮次（episode）达到预定次数时，结束循环

EQL 算法（enhanced Q-learning）

算法描述

• 随机初始化所有 \(Q(s,a)\) 的值

• 对每一轮次（episode）：

  • 随机选择或初始化一个状态 \(s_t\)

  • 对于每一步（step）：

    • \(\tilde{Q_t} = \max_a (Q(s_t , a)) - \min_a (Q(s_t,a))\)

    • \(ΔV_t = \max_a (Q(s_t,a)) - \max_a (Q(s_{t-1}, a))\)

    • \(E_t = v E_{t-1} + (1-v)\log(T_{t-1})\)

    • 使用模糊平衡器计算 \(T\) 如下所示：

    

    • 使用策略从 \(Q\) 的状态 \(s_t\) 选择合适的动作 \(a_t\)，根据玻尔兹曼分布使用参数 \(T\) 计算再决定是否采取

    • 执行动作 \(a_t\) ，并获得一个收益 \(r_{t+1}\) 和当前的新状态 \(s_{t+1}\)

    • 根据下面的公式更新 \(Q (s_t , a_t)\)

      \[Q(s_t,a_t) ← Q(s_t,a_t) + \alpha (r_{t+1} + \gamma \max_a Q(s_{t+1},a) - Q(s_t , a_t)) \]

    • \(s_t ← s_{t+1}\)

  • 当（step）到达结束状态

• 当轮次（episode）达到预定次数时，结束循环