大语言模型对接聊天UI

部署后的LLM只能在终端使用的话不怎么友好，我们可以通过现有的工具接入到友好的聊天UI中。

Chatbox

这是一个本地应用程序（现在支持web），可以通过配置，访问本地或者远端的大语言模型。

一、安装

在官网下载对应的安装包，安装应用。

二、配置模型

1、OPENAI API：需要提供API秘钥+API域名+模型名
2、Ollama API：默认的选项就可以了，但是要把Ollama先跑起来才可以

三、使用对话

Open WebUI

使用ChatBox的话一般用在本地，他提供的web版也不好用，需要配置，使用open-webui的话可以直接让人通过链接访问大语言模型。

一、安装

1、安装命令：在终端执行以下命令行，如果没有安装Python我们需要先安装Python。

pip install open-webui

• 安装Python： 如果没有安装Python我们先要安装上，参考安装教程。
• 指定Python版本： 我们可以用过pyenv来控制Python的版本，open-webui要求使用Python3.11(截止至2025.2.13日)

  pyenv global 3.11.11
  

二、运行

1、运行命令： 在终端执行命令行：

open-webui serve

三、访问

可以通过http://localhost:8080访问网页，这个时候会需要设置一个管理员，之后用于用户的权限管理，这里不深入了。
1、设置链接管理员登录后在右上角点击头像可以进入设置页，设置对应的链接配置，默认有OpenAI和Ollama的

2、选择模型通过链接可以获取到模型，这里就可以下拉选中指定的模型对话了。

Ollama对外访问

如果要对外可访问，需要打开终端，输入以下命令。

launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"

重启 Ollama 应用，使配置生效。