/c1be8f4ffdc257646dda26470b803487150c732aa5c9f532dd789f186a54/vllm_nccl_cu12-2.18.1.0.4.0.tar.gz (6.2 kB)卡主
1、手动从链接 https://github.com/vllm-project/vllm-nccl/releases/download/v0.1.0/cu12-libnccl.so.2.18.1 下载 nccl 库文件,然后将其放置到指定的目录 /home/username/.config/vllm/nccl/cu12/ 中,并将其重命名为 "libnccl.so.2.18.1" (如果该目录下存在这个文件,把之前的文件删除即可)。如果该目录不存在,可以用下面的命令手动创建:
mkdir -p /home/fukua/.config/vllm/nccl/cu12/
python
运行
2、然后再运行安装命令就行了
pip install 'vllm-nccl-cu12<2.19,>=2.18'
python
运行