open-webui +ollama

open-webui + ollama 实现本地部署大模型并推理

通过ollama可以实现本地快速模型，但是部署出来的大模型只能在cmd黑框中进行对话，非常的潦草

1. 安装ollama

进入ollama官网

Ollama官方下载地址

进入之后根据对应的系统下载即可，下载完成之后进入对应的目录有一个ollama的命令

我这里使用windows演示

然后在这个目录下打开cmd或者将此目录添加至环境变量，我直接在这里打开cmd了

C:\Users\admin\Desktop\ollama-windows-amd64>ollama.exe run qwen2:7b

此时他会开始下载模型，如果已有则会启动模型

启动完之后的模型就是下面这样，可以在黑框内输入文字让大模型回复

但是这样使用起来非常不方便，而且我们肯定会有上传文件让他总结的需求，那么这个黑框就有点乏力了，所以我们需要对接一下open-webui

2. open-webui

Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 AI 平台，设计为完全离线运行。 它支持各种 LLM 运行器，如 Ollama 和 OpenAI 兼容 API，具有用于 RAG 的内置推理引擎，使其成为强大的 AI 部署解决方案。

open-webui官方文档地址

我们可以根据官方的文档来使用docker运行，由于官方的镜像放在了gchr上，在国内拉取较慢，可以使用代理拉取

$ docker pull ghcr.m.daocloud.io/open-webui/open-webui:main
# tag也可不修改，不修改后面指定镜像时需要指定为原本镜像名
$ docker tag ghcr.m.daocloud.io/open-webui/open-webui:main ghcr.io/open-webui/open-webui:main

接下来我们使用这个镜像启动容器

$ docker run -d    --restart always    --name ollama-webui    --net host    -v /opt/data:/app/backend/data    -e OLLAMA_API_BASE_URL=http://192.168.88.1:11434/api    -e WEBUI_SECRET_KEY=123456    ghcr.io/open-webui/open-webui:main

参数	释义
OLLAMA_API_BASE_URL	指定ollama的api地址

此时我们即可访问虚拟机的ip:8080进入open-webui界面

这是初始页面，我们还需要对webui配置连接ollama，但是此时我们的ollama的api地址只监听在127.0.0.1这个地址上，我们需要修改

打开cmd，设置变量

set OLLAMA_HOST=http://192.168.88.1:11434

这里的ip地址改为你自己的ollama部署机器的ip，然后返回webui界面进行配置，点击管理连接

URL内输入ollama的ip地址并点击后面的刷新按钮，让他测试连接，正常应该显示已验证服务器连接，如果报错请检查服务器的防火墙以及监听地址是否正确

然后我们点击保存之后开始设置一个模型

然后点击这个更新模型，更新完之后即可选择我们已有的模型，如果没有下载过模型则可以在这里下载一个新的

这里配置好之后我们返回首页就可以开始进行推理了