Reinforcement Learning - 随笔分类(第6页) - initial_h

MASTERING ATARI WITH DISCRETE WORLD MODELS

摘要：**发表时间：**2021（ICLR 2021） **文章要点：**这篇文章是《DREAM TO CONTROL: LEARNING BEHAVIORS BY LATENT IMAGINATION》的后续，前面那篇文章做出来的效果在连续控制上挺好的，但是Atari上不行。这篇就接着做Atari，做到阅读全文

posted @ 2021-11-30 11:56 initial_h 阅读(202) 评论(0) 推荐(0)

DREAM TO CONTROL: LEARNING BEHAVIORS BY LATENT IMAGINATION

摘要：**发表时间：**2020（ICLR 2020） **文章要点：**文章提出一个叫Dreamer的算法，就是去学一个world model，然后强化学习在compact state space上进行。就相当于所有的学习过程都不是和真正的环境交互学习，而是在world model上进行，所以把这个东西阅读全文

posted @ 2021-11-28 12:55 initial_h 阅读(470) 评论(0) 推荐(0)

Learning Latent Dynamics for Planning from Pixels

摘要：**发表时间：**2019（ICML 2019） **文章要点：**文章提出了一个叫Deep Planning Network (PlaNet)的模型来学习环境的dynamics，然后用online planning的方式在这个模型构建的latent space上进行planning得到action 阅读全文

posted @ 2021-11-28 12:49 initial_h 阅读(404) 评论(0) 推荐(0)

Selective Dyna-Style Planning Under Limited Model Capacity

摘要：**发表时间：**2020（ICML 2020） **文章要点：**这篇文章考虑的情形是，用imperfect model来planning的时候，由于model的误差会导致planning不准，所以就需要有选择性的planning，通过度量predictive uncertainty只在模型预测准阅读全文

posted @ 2021-11-24 12:03 initial_h 阅读(63) 评论(0) 推荐(0)

Search on the Replay Buffer: Bridging Planning and Reinforcement Learning

摘要：**发表时间：**2019（NeurIPS 2019） **文章要点：**这篇文章结合planning和强化学习来解决复杂任务，主要思路是通过强化学习（Goal-conditioned RL）的方式构建一个图结构（graph），图里的节点就包括起始位置，目标位置以及中间点，这就相当于把一个远距离的目阅读全文

posted @ 2021-11-22 12:42 initial_h 阅读(155) 评论(0) 推荐(0)

Checkers Is Solved

摘要：**发表时间：**2007（science） **文章要点：**这篇文章主要说checkers已经被解决了，得出的结论是如果两边都不犯错的话，这个游戏的最终结果是平局（Perfect play by both sides leads to a draw）。Solve其实有三种含义，ultraweak 阅读全文

posted @ 2021-11-20 23:53 initial_h 阅读(62) 评论(0) 推荐(0)

WarpDrive: Extremely Fast End-to-End Deep Multi-Agent Reinforcement Learning on a GPU

摘要：**发表时间：**2021 **文章要点：**这篇文章通过将整个RL过程放到GPU上，实现速度提升。主要做法就是将环境放到GPU上，减少了CPU和GPU之间的数据传输和通信时间，在GPU上实现整个训练的交互过程。然后一块GPU上就可以做并行训练，同时data存储用占位然后不断更新的方式进行，而不是开阅读全文

posted @ 2021-11-20 23:49 initial_h 阅读(105) 评论(0) 推荐(0)

RODE: LEARNING ROLES TO DECOMPOSE MULTI-AGENT TASKS

摘要：**发表时间：**2021（ICLR 2021） **文章要点：**这篇文章用角色（roles）来分解复杂任务，解决多智能体问题。主要思路是根据动作对环境和其他agents的影响来分解动作空间，形成不同的角色动作空间（role action space），然后通过role selector来给age 阅读全文

posted @ 2021-11-17 13:45 initial_h 阅读(283) 评论(0) 推荐(0)

NEURAL PROBABILISTIC MOTOR PRIMITIVES FOR HUMANOID CONTROL

摘要：**发表时间：**2019（ICLR 2019） **文章要点：**这篇文章主要是想学习人类的控制策略，并且能够重复使用。主要思路就是通过监督学习去学一个叫做neural probabilistic motor primitives的模型。这个模型包括一个encoder和一个decoder 这里$s 阅读全文

posted @ 2021-11-17 13:37 initial_h 阅读(117) 评论(0) 推荐(0)

CoMic: Complementary Task Learning & Mimicry for Reusable Skills

摘要：**发表时间：**2020（ICML 2020） **文章要点：**这篇文章想要先学low-level policy，然后基于low-level policy来训练一些强化的任务，这样就相当于可以用reusable skills来加快下游任务的训练。主要思路是通过模仿学习和联合辅助任务训练来学reu 阅读全文

posted @ 2021-11-14 11:53 initial_h 阅读(137) 评论(0) 推荐(0)

MOReL: Model-Based Offline Reinforcement Learning

摘要：**发表时间：**2020（NeurIPS 2020） **文章要点：**这篇文章用model based方法去做offline RL。主要分为两步，第一步是用offline data学一个pessimistic MDP (P-MDP)，第二步就是用这个P-MDP去学一个near-optimal p 阅读全文

posted @ 2021-11-12 14:25 initial_h 阅读(656) 评论(0) 推荐(1)

Learning to Combat Compounding-Error in Model-Based Reinforcement Learning

摘要：**发表时间：**2019（NeurIPS 2019 Deep Reinforcement Learning Workshop） **文章要点：**这篇文章想说model based方法里面通常model都是imperfect的，就是这个model一般只在局部是准确的，放到全局上看误差会越来越大，所阅读全文

posted @ 2021-11-10 09:47 initial_h 阅读(162) 评论(0) 推荐(0)

Diagnosing Bottlenecks in Deep Q-learning Algorithms

摘要：**发表时间：**2019（ICML 2019） **文章要点：**这篇文章主要是做实验研究Q-learning在加入function approximation之后会出现什么问题，以及具体是什么原因造成的。文章主要研究了function approximation， sampling error和阅读全文

posted @ 2021-11-08 12:36 initial_h 阅读(105) 评论(0) 推荐(0)

Risk-Aware and Multi-Objective Decision Making with Distributional Monte Carlo Tree Search

摘要：**发表时间：**2021 （AAMAS 2021 extended abstract） **文章要点：**这篇文章想说通常RL都是去最大化累计回报，这个值通常都是标量，标量反映出来的信息肯定就没有分布多。这篇文章就在risk-aware and multi-objective的设定下用MCTS来做阅读全文

posted @ 2021-11-06 12:25 initial_h 阅读(139) 评论(0) 推荐(0)

LEARNING WITH AMIGO: ADVERSARIALLY MOTIVATED INTRINSIC GOALS

摘要：**发表时间：**2021（ICLR 2021） **文章要点：**这篇文章提出了一个解决sparse extrinsic rewards的办法AMIGO。思路就是用一个goal-generating teacher来生成难度适中的任务目标(constructively adversarial ob 阅读全文

posted @ 2021-11-01 12:51 initial_h 阅读(156) 评论(0) 推荐(0)

LEARNING INVARIANT REPRESENTATIONS FOR REINFORCEMENT LEARNING WITHOUT RECONSTRUCTION

摘要：**发表时间：**2021（ICLR 2021） **文章要点：**这篇文章想说，在state里面其实有很多任务无关的东西，如果用Reconstruction之类的方式去做就还是会考虑这些东西，作者提出用Bisimulation metric去做representation，让latent spac 阅读全文

posted @ 2021-11-01 12:38 initial_h 阅读(353) 评论(0) 推荐(0)

REPAINT: Knowledge Transfer in Deep Reinforcement Learning

摘要：**发表时间：**2021（ICML 2021） **文章要点：**这篇文章提出了一个叫REPresentation And INstance Transfer (REPAINT)的算法来做RL里的知识迁移。主要方法就是representation transfer和instance transfe 阅读全文

posted @ 2021-10-30 14:40 initial_h 阅读(173) 评论(0) 推荐(0)

Improving Generalization in Reinforcement Learning with Mixture Regularization

摘要：**发表时间：**2020（NeurIPS 2020） **文章要点：**这篇文章提出了一个叫mixreg的方法来提高agent泛化性。大致方法就是说用多个环境训练，并且对环境做插值，这样学到的策略就会更平滑，泛化性就更好。具体的，我有两个状态，通过加权插值的方式得到一个新的状态这里权重λ通过从贝阅读全文

posted @ 2021-10-28 10:19 initial_h 阅读(145) 评论(0) 推荐(0)

RIDE: REWARDING IMPACT-DRIVEN EXPLORATION FOR PROCEDURALLY-GENERATED ENVIRONMENTS

摘要：**发表时间：**2020（ICLR 2020） **文章要点：**这篇文章提出了一个新的intrinsic reward机制，Rewarding Impact-Driven Exploration (RIDE)，鼓励agent采取使得状态表征变化大的动作，相较于之前的方法，这个方式在procedu 阅读全文

posted @ 2021-10-26 12:28 initial_h 阅读(185) 评论(0) 推荐(0)

Explainable Reinforcement Learning Through a Causal Lens

摘要：**发表时间：**2019（AAAI 2020） **文章要点：**这篇文章通过构建一个图结构，来解释为啥agent要做/不做某个动作。具体来说就是先把某个问题给抽象成一个图结构，定义状态动作回报等关键信息的节点和边，然后在训练RL的时候也顺便用数据来训练这个图。训练完了之后，就根据图用深度优先搜索阅读全文

posted @ 2021-10-26 12:23 initial_h 阅读(141) 评论(0) 推荐(0)

initial_h

https://github.com/initial-h

随笔分类 - Reinforcement Learning

公告