Ollama+OpenWenUI部署本地大语言模型

安装可视化页面openwebui

需要docker环境，参考搭建步骤

国内加速镜像参考网址：https://docker.aityp.com/r/ghcr.io/open-webui/open-webui

这里使用0.6.4版本

docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.6.4
docker tag  swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.6.4  ghcr.io/open-webui/open-webui:v0.6.4
docker run -d -p 3000:8080 ghcr.io/open-webui/open-webui:v0.6.4

安装ollama

官方下载

Linux下载命令（官方）

 curl -fsSL https://ollama.com/install.sh | sh

根据设备配置拉取合适的模型

模型	参数	大小	下载
DeepSeek-R1	14b	9GB	ollama run deepseek-r1:14b
DeepSeek-V3	671b	404GB	ollama run deepseek-v3
DeepSeek-V2	16b	8.9GB	ollama run deepseek-v2:16b
GLM-4	9B	5.5GB	ollama run glm4
Llama 3.1	8B	4.7GB	ollama run llama3.1
Llama 3.1	70B	40GB	ollama run llama3.1:70b
Llama 3.1	405B	231GB	ollama run llama3.1:405b
Phi 3 Mini	3.8B	2.3GB	ollama run phi3
Phi 3 Medium	14B	7.9GB	ollama run phi3:medium
Google Gemma 2	9B	5.5GB	ollama run gemma2
Google Gemma 2	27B	16GB	ollama run gemma2:27b
Mistral	7B	4.1GB	ollama run mistral
Moondream 2	1.4B	829MB	ollama run moondream
Neural Chat	7B	4.1GB	ollama run neural-chat
Starling	7B	4.1GB	ollama run starling-lm
Code Llama	7B	3.8GB	ollama run codellama
Llama 2 Uncensored	7B	3.8GB	ollama run llama2-uncensored
LLaVA	7B	4.5GB	ollama run llava
Solar	10.7B	6.1GB	ollama run solar
Qwen 2	0.5B	352MB	ollama run qwen2:0.5b
Qwen 2	1.5B	935MB	ollama run qwen2:1.5b
Qwen 2	7B	4.4GB	ollama run qwen2:7b
Qwen 2	72B	41GB	ollama run qwen2:72b

查看详细

效果预览