Window上使用Ollama和MaxKB部署本地AI

前导

Ollama是一个本地部署大语言模型并运行的开源项目
MaxKB是一个用于管理本地大语言模型且能前端显示的开源项目
需要使用到Docker

一：下载Ollama

Ollama官网：https://ollama.com/

cmd下输入ollama验证是否部署成功

二：在ollama网站上搜索想部署的模型并部署

这里以通义千问(qwen)为例

在cmd下ollama run qwen:4b

qwen代表模型名称
4b代表有4百亿模型参数，b means billion
数字越高，训练的模型参数越多

看到下面的结果表示部署成功，可在命令行进行对话

ollama list 用于显示本地有几个模型
ollama run 后面跟要运行的模型
ollama rm 后面跟要删除的模型

三、使用MaxKB在浏览器交互

在docker下进行MaxKB部署：https://github.com/1Panel-dev/MaxKB

浏览器中输入本地ip和端口8080,进入页面

用户名: admin
密码: MaxKB@123..

进入 系统设置-模型设置-添加模型-添加Ollama

四、部署一个简单的chat实例

点击 应用->模型->创建->演示