Ubuntu 本地部署 DeepSeek-R1

 

前提条件:

系统: Ubuntu 22.04

显卡: RTX 3090 24G

需要自己安装: Python 3.11、 CUDA 12.7

 

一、基于Ollama 运行DeepSeek R1 模型

DeepSeek GitHub 数据显示DeepSeek R1 32b和 70b 已经可以和OpenAI o1-mini 媲美，这里选择DeepSeek R1 32b 尝鲜

 

1、手动下载ollama 软件包安装

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
tar -C /usr -xzf ollama-linux-amd64.tgz

 

2、创建用户

useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
usermod -a -G ollama $(whoami)

 

3、定义配置文件并启动

vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_MODELS=/data/ollama" # 模型存储路径
Environment="OLLAMA_HOST=0.0.0.0:11434" # 允许远程调用 API
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

 

systemctl daemon-reload
systemctl enable ollama
systemctl start ollama
systemctl status ollama

 

4、下载模型

ollama pull deepseek-r1:32b

命令行窗口，远程API调用无需运行

ollama run deepseek-r1:32b

 

常用ollama 命令

ollama list # 查看模型
ollama rm   # 删除已下载模型

 

5、验证API

访问 http://{服务器IP}:11434 ， 如果有Ollama is running 字体说明API可以调用

 

二、安装Chatbox 终端访问

官网下载Chatbox 软件

https://chatboxai.app/zh

如果想要网页调用API，可以用open-webui，这个非常重，体验不太好

 

选择Ollama API，填写API地址，选择模型后就可以窗口问问题了

1、配置API 连接

 

2、窗口提问