zai-org/AutoGLM-Phone-9B部署

环境准备

算力服务器

4090 * 6 * 24G

电脑

32G 1070

手机

MuMu 模拟器

服务器

默认已经安装了 NVIDIA 驱动、CUDA和huggingface-cli，如果没有：[Docker 安装部署（2025）]第 2 点和[AI环境部署]第 2 点

下载模型

cd /opt
mkdir AutoGLM-Phone-9B
cd AutoGLM-Phone-9B/

conda activate comfyui

huggingface-cli download \
  zai-org/AutoGLM-Phone-9B \
  --local-dir ./model \
  --local-dir-use-symlinks False \
  --resume-download

安装

安装依赖

conda create -n AutoGLM-Phone-9B python=3.10
conda activate AutoGLM-Phone-9B

git clone https://github.com/zai-org/Open-AutoGLM.git

pip install -r requirements.txt 
pip install -e .

pip install "vllm>=0.12.0"
# 多模态（不用不装）
pip install "vllm[multimodal]>=0.12.0"

pip install -U "transformers==5.0.0rc0"

pip install -U accelerate safetensors sentencepiece numpy
# 多模态（不用不装）
pip install -U opencv-python

启动模型服务

python3 -m vllm.entrypoints.openai.api_server \
 --served-model-name autoglm-phone-9b \
 --allowed-local-media-path /  \
 --mm-encoder-tp-mode data \
 --mm_processor_kwargs "{\"max_pixels\":5000000}" \
 --max-model-len 25480 \
 --tensor-parallel-size 2 \
 --chat-template-content-format string \
 --limit-mm-per-prompt "{\"image\":10}" \
 --model "AutoGLM-Phone-9B" \  
 --distributed-executor-backend mp \
 --port 8000

高端服务器推荐版

CUDA_VISIBLE_DEVICES=0,1,2,3 \
python3 -m vllm.entrypoints.openai.api_server \
 --served-model-name autoglm-phone-9b \
 --model "/opt/AutoGLM-Phone-9B/model" \
 --tensor-parallel-size 4 \
 --max-model-len 25480 \
 --distributed-executor-backend mp \
 --allowed-local-media-path / \
 --mm-encoder-tp-mode data \
 --mm_processor_kwargs "{\"max_pixels\":5000000}" \
 --limit-mm-per-prompt "{\"image\":10}" \
 --chat-template-content-format string \
 --port 18000

手机

连接 ADB

MuMu 手机调试

如何使用 MuMu模拟器和 Android Studio 调试应用？_MuMu模拟器_安卓模拟器

在 MuMu 安装目录下，shell 中有一个 adb.exe，将这个目录添加 PATH 就行

这个 abd 连接应该是默认加上的，可以先用adb devices看看，emulator-5554就是 MuMu 手机

打开开发者模式

在手机 -> 关于手机中，多次点击版本号，直到出现已开启开发者模式

开启后，在系统设置中，点击开发者选项

启动 USB 调试

电脑

安装环境

默认已经安装了 Python 或者 Conda

git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM

conda create -n AutoGLM-Phone-9B python=3.10
conda activate AutoGLM-Phone-9B
pip install -r requirements.txt -i https://mirrors.ustc.edu.cn/pypi/simple

下载 ADBKeyBoard

https://github.com/senzhk/ADBKeyBoard/blob/master/ADBKeyboard.apk

在ADBKeyboard.apk所在目录下

adb install ADBKeyboard.apk

安装后在模拟器手机中开启

运行

# 连接手机
python main.py --base-url http://服务器IP:模型运行端口/v1 --model "autoglm-phone-9b"

运行成功

成功