2025年的大模型

百川大模型安装（N卡）：
tar xvf cu.tar.xz

source ~/.bashrc

测试cudnn
sudo vim test_cudnn.cu
#======================================

std::cout << "cuDNN version: " << CUDNN_MAJOR << "." << CUDNN_MINOR << "." << CUDNN_PATCHLEVEL << std::endl;

#======================================

安装docker（支持GPU）
docker启动：

编写build.sh：
docker run --gpus all -it -w /root/workcode \--name baichuan_13b \-p 80:80 \-v ${Host_datas}:${Docker_datas} \${ImageID} /bin/bash

运行：sh build.sh

进入docker后安装：
安装conda

安装百川运行环境

git clone https

需要两张V100 32G卡才能跑起来

model = model.quantize(8).cuda()

运行：
python cli_demo.py