本地部署ChatGLM3

1 系统信息

OS：Ubuntu22.04.2

显卡：RTX3090Ti-24GB

CUDA :12.2

2 安装Pytorch

pytorch正式版还没有对CUDA12.2的支持，因此这里装的是Preview版本的。这里先建了个conda虚拟环境，然后在虚拟环境中安装了pytorch：

 conda create -n ChatGLM python=3.11.5
$ conda activate ChatGLM
$ pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121

进入python环境，验证安装是否成功：

import torch
torch.cuda.is_available()

返回True则安装成功

3 安装ChatGLM

3.1 从github下载源码

git clone https://github.com/THUDM/ChatGLM3.git

*3.2 从Huggingface 下载模型权重(需梯子)

git clone https://huggingface.co/THUDM/chatglm3-6b.git

替换方法

从镜像网站下载

https://hf-mirror.com/

4 运行

修改路径(模型文件和权重文件都要改)：

MODEL_PATH = os.environ.get('MODEL_PATH', '自己的模型权重文件路径')
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)

命令行运行：cli_demo.py

网页运行：web_demo_gradio.py

demo.launch(server_name="127.0.0.1", server_port=7870, inbrowser=True, share=False)#将127.0.0.1修改为本机ip，share改为True即可在局域网下使用