ChatGLM-6B本地化部署

一、硬件要求

量化等级	最低 GPU 显存（推理）	最低 GPU 显存（高效参数微调）
FP16（无量化）	13 GB	14 GB
INT8	8 GB	9 GB
INT4	6 GB	7 GB

二、环境要求

　　需先安装git、python

三、下载源码

mkdir /gpt
cd gpt
git clone https://github.com/THUDM/ChatGLM-6B.git

 

四、安装依赖

pip install -r requirements.txt

五、下载模型

git clone https://huggingface.co/THUDM/chatglm-6b
cd chatglm-6b

六、启动

pip install gradio

python web_demo.py

　访问对应的地址。