复现论文

以原始LoRA论文为例

目录

• 在本地复现
• 利用云GPU

在本地复现

首先创建虚拟环境。虚拟环境之间，以及虚拟环境与全局环境之间是相互隔离的，所以我们在虚拟环境中安装包并不会影响到其他的环境

• 打开Anaconda Prompt，输入conda create -n test python=3.12.9创建一个名为test，Python解释器版本为3.12.9的虚拟环境
• 安装Pytorch，打开Pytorch下载网址，
  将上图给出的run this command输入到Anaconda Prompt中即可

然后在github上将所有文件的压缩包全部下载下来，并打开github的README.md文件，可以知道让我去用NLG文件夹中的代码，我们再打开NLG文件夹中的README.md，按照上面的指示即可。下面是一些trick/遇到的问题

• docker run -it nvcr.io/nvidia/pytorch:20.03-py3这个没必要用，因为我们已经装好了Pytorch了

• sudo apt-get update
  sudo apt-get -y install git jq virtualenv
  git clone https://github.com/microsoft/LoRA.git; cd LoRA
  virtualenv -p `which python3` ./venv
  . ./venv/bin/activate
  pip install -r requirement.txt
  bash download_pretrained_checkpoints.sh
  bash create_datasets.sh
  cd ./eval
  bash download_evalscript.sh
  cd ..
  

  上面指令的

  sudo apt-get update
  sudo apt-get -y install git jq virtualenv
  git clone https://github.com/microsoft/LoRA.git; cd LoRA
  virtualenv -p `which python3` ./venv
  . ./venv/bin/activate
  

  都不用运行，这就是在创建虚拟环境
  • requirement.txt里面的文件就是我们需要额外下载的包，但是LoRA好像有点太老了，所以我们要把里面的东西一个一个安装，使用pip install即可
  • bash download_pretrained_checkpoints.sh这个要在Git Bash中运行。打开Git Bash，使用cd D:/计算机/大语言模型/论文阅读/LoRA/LoRA-main/LoRA-main/examples/NLG切换到对应目录，然后输入上述命令就好了。但是注意，download_pretrained_checkpoints.sh文件中所要下载的三个模型如果直接用Git Bash下载就非常慢，这个时候用Hugging Face镜像网站，在上面找到对应的模型，下载对应文件到pretrained_checkpoints文件夹里面即可（注意如果没有运行bash download_pretrained_checkpoints.sh这个命令的话，我们就要手动创建文件夹pretrained_checkpoints）。这里就不用重复下载了已经下载好了放到本地的
  • bash create_datasets.sh是用来将下载了的数据转换成模型能够读取的格式。但是不知道为什么，就是卡在这里了，一直转换不成功。VScode中显示未存取表示导入的库没有用到

上面的问题找到了，是操作系统的原因。LoRA的代码是在Linux上运行的，所以我们也要在Linux上运行。不用创建虚拟机了，使用docker模拟Linux环境就好了，可以简单理解为精简虚拟机

利用云GPU

这个见B站的收藏夹（文件的传输不用那个软件，直接像计网实验一样拖拽即可）
但是有一个问题，就是不知道怎么访问外网，难道只能将数据集下载下来传上去吗？
可以这么做，但是其实使用镜像站会更好
然后腾讯的cloud studio和autodl都是一样的，不要怀疑cloud studio的正确性
两个平台都是预装好了的环境，就不要想在容器里面装容器了，很麻烦
以后跑通都在could studio上跑通，不要在本机docker上跑通，因为本机docker跑通可能是英伟达的镜像可以向后兼容，而cloud studio不行，所以会导致有些程序在本机可以跑通但是cloud studio不可以，这个样子后面的实验就做不了