利用强化学习算法解释人类脑对高维状态的抽象表示：how humans can map high-dimensional sensory inputs in actions

论文：
《Using deep reinforcement learning to reveal how the brain encodes abstract state-space representations in high-dimensional environments》
地址：
https://www.cell.com/neuron/fulltext/S0896-6273(20)30899-0
正文：
https://www.cell.com/neuron/pdf/S0896-6273(20)30899-0.pdf
补充信息：
https://www.cell.com/cms/10.1016/j.neuron.2020.11.021/attachment/57cc3979-b15e-468c-a4df-e8927360c70e/mmc1

---

文章的主要表达思想：
In Brief
Cross et al. scanned humans playing Atari
games and utilized a deep reinforcement
learning algorithm as a model for how
humans can map high-dimensional
sensory inputs in actions.
Representations in the intermediate
layers of the algorithm were used to
predict behavior and neural activity
throughout a sensorimotor pathway.

---

由于这个论文是生命科学的，属于生物学论文，虽然是使用AI算法中的DQN算法的原理来类比人类脑，但是主要的内容还是围绕生命科学的，因此没有太多的理解，不过文章中的一个观点感觉还是有些启发的：
分别使用CNN和VAE作为强化学习算法DQN的特征提取部分对算法性能的影响？
标准的DQN是使用CNN网络模型的，但是如果我们把一个训练好的基于CNN的DQN模型作为对比，把这个DQN模型对某个游戏环境运行得到的数据来训练一个VAE，然后用这个VAE来训练一个新的基于VAE的DQN，那么这个基于VAE的DQN的性能是会差于基于CNN模型的DQN的；文章中把这个分析为在训练基于神经网络的DQN时，如果把映射的动作信息和奖励回报值加入到训练中，也就是使用CNN模型的DQN，那么会得到更好的算法性能；在使用CNN的DQN进行训练时会把high level的特征提取出来，而不会把low level的特征提取出来，而VAE则是会报所有的信息都提取出来，而像基于CNN的DQN算法最后进行策略训练时使用的状态特征是筛除更高特征的信息，是和动作和奖励回报相关的，因此性能会更好。