D4RL实验环境介绍及Windows下安装（失败版）

D4RL简单示意图

TDLR：Windows无法正常安装使用D4RL，建议使用Windows自带的Linux子系统WSL2，兼容性非常好，且和服务器上操作一致。本地使用时采用类似连接远程服务器的方式在VScode（或其他IDE）连接WSL。见文章WSL2配置D4RL

---

D4RL环境配置（Windows，MuJoCo210版本）

一、安装pytorch

无论做不做强化学习，都需要安装pytorch的，唯一要注意的，就是python版本和pytorch版本问题。安装pytorch过程见上一篇推文。

我的pytorch版本如下：
torch 1.13.1+cu117 pypi_0 pypi
torchaudio 0.13.1+cpu pypi_0 pypi
torchvision 0.14.1+cu117 pypi_0 pypi

二、安装MuJoCo

1. 访问MuJoCo的Giuthub界面下载二进制文件.zip。

2. 将下载的.zip文件解压到一个目录，例如C:\mujoco。

   • 将MuJoCo的bin目录添加到系统环境变量：

     • 右键“此电脑” > “属性” > “高级系统设置” > “环境变量”。
     • 在“系统变量”中找到Path，点击“编辑”，添加C:\mujoco\bin（根据你的解压路径调整）。

   • 验证MuJoCo是否可用：

     • 打开CMD，运行：

       simulate
       

     • 如果MuJoCo安装正确，会弹出一个仿真窗口。

3. 安装mujoco-py：

   • mujoco-py是MuJoCo的Python绑定，D4RL需要它。

   • 首先安装一些必要的依赖（Windows需要编译工具）：

     • 安装Microsoft Visual C++ Build Tools（如果没有安装）。可以从Visual Studio官网下载，安装时选择“C++桌面开发”工作负载。
     • 安装CMake：从CMake官网下载并安装。

   • 安装mujoco-py：

     python -m pip install mujoco-py==2.1.2.14
     

   • 验证mujoco-py是否安装成功：

     • 打开Python解释器（在CMD中输入python），然后运行：

       import mujoco_py
       

     • 如果没有报错，说明安装成功。

三、安装D4RL依赖

D4RL需要一些额外的库和工具，以下是安装步骤：

1. 安装Gym：

   • D4RL依赖OpenAI Gym（现为Gymnasium），用于创建强化学习环境。

   • 安装Gymnasium：

     pip install gymnasium==1.1.1
     

   • 如果D4RL文档中指定需要旧版Gym（例如gym而不是gymnasium），可以安装旧版：

     pip install gym==0.21.0
     

2. 安装mjrl:
   由于通过git最大的问题就是网络超时，因此，十分建议本地安装方式，步骤如下：
   • 进入mjrl官网下载.zip文件，并解压至如C:\mjrl文件夹，例如这样：
     
   • cd进入该文件夹，并进行安装：

     cd C:\mjrl
     pip install .
     

3. 安装其他依赖：
   • D4RL还需要一些Python库，比如numpy、h5py等，安装时会有点慢(用国内源时记得关掉梯子）：

     pip install numpy==1.24.4 h5py==3.11.0 termcolor==1.1.0 pybullet==3.2.7 click==8.1.8 -i https://pypi.tuna.tsinghua.edu.cn/simple
     

四、安装D4RL

D4RL官方库说明了安装方法，但是我想大多数人都会网络超时，所以同样通过本地安装方法。

1. 仍然进入D4RL官网，下载.zip压缩包，并假使你解压到 C:\d4rl文件夹。
2. 将d4rl文件夹中的setup.up文件做以下修改，其他的地方不要动：

   install_requires=[
        "gym<0.24.0",
        #"numpy",
        #"mujoco_py",
        #"pybullet",
        #"h5py",
        #"termcolor",  # adept_envs dependency
        #"click",  # adept_envs dependency
        "dm_control>=1.0.3",
        #"mjrl @ git+https://github.com/aravindr93/mjrl@master#egg=mjrl",
   

3. cd 进入D4RL目录，并安装(这里的-e表示以可编辑模式安装，方便后续修改代码（如果需要），不用多管，直接照抄下面就完了）

   cd C:\d4rl
   pip install -e .