使用ollama部署deepseek-r1+webUI实践

前置条件

使用英伟达显卡下载cuda驱动
https://developer.nvidia.com/cuda-downloads

Ollama

Ollama 官方版: https://ollama.com/

curl -fsSL https://ollama.com/install.sh | sh

使用Ollama启动deepseek模型，也可以启动他的模型
https://ollama.com/search

注意

• 第一个注册的账号会自动成为管理员
• 注意更换容器来源网站到 南京大学镜像站（https://sci.nju.edu.cn/9e/05/c30384a564741/page.htm） ghcr.io -> ghcr.nju.edu.cn

# 模型的安装命令

# 1.5B Qwen DeepSeek R1  
# 所需空间大约 1.1G
ollama run deepseek-r1:1.5b

# 7B Qwen DeepSeek R1
# 所需空间大约 4.7G
ollama run deepseek-r1:7b

# 8B Llama DeepSeek R1
# 所需空间大约 4.9G
ollama run deepseek-r1:8b

# 14B Qwen DeepSeek R1
# 所需空间大约 9G
ollama run deepseek-r1:14b

# 32B Qwen DeepSeek R1
# 所需空间大约 20G
ollama run deepseek-r1:32b

# 70B Llama DeepSeek R1
# 所需空间大约 43G
ollama run deepseek-r1:70b

# 671B Llama DeepSeek R1 
# 所需空间大约 404G
ollama run deepseek-r1:671b 

Open WebUI

官方安装文档：https://docs.openwebui.com/

Open WebUI官网文档翻译：

注意：

使用Docker安装Open WebUI时，请确保在Docker命令中包含

-v open-webui:/app/backend/data

这一步至关重要，因为它确保您的数据库正确挂载，避免任何数据丢失。

安装默认配置
1.如果您的计算机上安装了Ollama，可以使用以下命令：

sudo docker run -d -p 80:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2.如果Ollama在另一台服务器上，请使用以下命令：
连接到另一台服务器上的Ollama时，请将OLLAMA_BASE_URL更改为服务器的URL：

docker run -d -p 80:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

要使用Nvidia GPU支持运行Open WebUI，请使用以下命令：

docker run -d -p 80:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

3.仅用于OpenAI API使用的安装
如果您仅使用OpenAI API，请使用以下命令：

docker run -d -p 80:8080 -e OPENAI_API_KEY=your_secret_key -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 

4.带有捆绑Ollama支持的Open WebUI安装
此安装方法使用一个单独的容器映像，将Open WebUI与Ollama捆绑在一起，通过单个命令实现简化设置。根据您的硬件设置选择适当的命令：

使用GPU支持：通过运行以下命令利用GPU资源

docker run -d -p 80:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama 

仅CPU：如果您不使用GPU，请改用以下命令：

docker run -d -p 80:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama 

这两个命令都支持内置、简单的安装Open WebUI和Ollama，确保您可以快速启动一切。

docker run -d -p 80:8080 -e OLLAMA_BASE_URL=http://192.168.1.100:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

访问：http://192.168.100.120

常见问题：
默认ollama绑定在127.0.0.1的11434端口，修改/etc/systemd/system/ollama.service，在[Service]下添加如下内容，使ollama绑定到0.0.0.0的11434端口

Environment="OLLAMA_HOST=0.0.0.0"

sudo systemctl daemon-reload
sudo systemctl restart ollama