【babyllama2-chinese】项目 | 环境配置

所用计算节点： 中科曙光 异构节点-4D1-2
单节点： 每个节点是32核 128G 4张dcu卡，dcu卡显存每张16G
作业调度系统： slrum

requirements.txt:

自动安装

使用

pip install -r requirements.txt

报错，遂尝试手动安装所有包

手动安装

step 1：

先进入环境

conda activate babyllama

然后确认该环境下 pip 的路径

which pip

确认pip会安装到本环境中即可

step 2:

安装原则：conda install 和 pip install都上阵，能安装就行
conda指定版本安装：

conda install numpy==1.23.5

pip指定版本安装：

pip install numpy==1.23.5

step 3 安装torch

发现死活装不上torch，解决方案：

改成 pytorch

step 4 手动安装jieba

一套操作下来，jieba 不管是 pip 还是 conda 都安装不了，遂尝试手动安装。
参考我的博客pip手动安装jieba包

检验

因为是计算节点，所以要运行程序的话需要 提交作业

salloc -p hebhdnormal -N1 -n8 --gres=dcu:1 -q high

申请了一个节点，八个核心，一张dcu

进入虚拟环境，运行数据处理程序

成功！