DeepSeek VL2 本地部署教程

下载模型仓库

 git clone https://github.com/deepseek-ai/DeepSeek-VL2.git

国内下载仓库失败时，可以使用以下代理：

git clone https://github.moeyy.xyz/https://github.com/deepseek-ai/DeepSeek-VL2.git

准备 Conda 3.10 虚拟环境

conda create --name deepseekVL2 python=3.10

conda activate deepseekVL2

安装依赖

cd DeepSeek-VL2/

pip install -e .

pip install -r requirements.txt

使用 modelscope 下载模型

官网：https://modelscope.cn/

pip install modelscope

modelscope download --model deepseek-ai/deepseek-vl2

默认模型会下载到~/.cache/modelscope/hub目录下，指定 local_dir 可以选择本地下载路径

modelscope download --model deepseek-ai/deepseek-vl2 --local_dir '/root/deepseek-vl2-models'

运行 Gradio Demo 文件

CUDA_VISIBLE_DEVICES=0 python web_demo.py \
--model_name "deepseek-ai/deepseek-vl2"  \
--local_path "/root/deepseek-vl2-models" \
--port 37914

# 验证模型推理
CUDA_VISIBLE_DEVICES=1 python inference.py --model_path "/root/deepseek-vl2-models"