本地 AI 大模型部署

本地部署 AI 大模型

ollama + deepseek

安装Ollama

修改Ollama默认路径及models路径

安装Ollama的时候，推荐使用命令行通过命令安装来安装，好处是可以修改安装的目录位置。
到 OllamaSetup.exe 所在路径运行

OllamaSetup.exe /DIR="D:\AI\Ollama"

ollama 常用命令

// 命令查看已安装了的模型
ollama list

// 运行某个模型
ollama run [模型名称]

// 退出对话
/bye

//查看版本
ollama --version

//帮助
ollama --help

//重启
ollama restart

安装 deepseek 大模型

按照电脑性能选择适合模型，复制命令到命令行运行

由于网络环境等原因经常报错，解决ollama模型下载失败问题

建议使用阿里云的魔塔社区模型库下载，大模型选择带有GGUF的进行下载

等待下载完成，进入安装 models 的路径：我这里是 D:\AI\Ollama\models\deepseek 创建 deepseek-1.5b.mf文件 ，名字可以自己取。

# Modelfile generated by "ollama show"
# To build a new Modelfile based on this, replace FROM with:
# FROM deepseek-r1:7b

FROM [gguf文件路径]
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
PARAMETER stop <｜begin▁of▁sentence｜>
PARAMETER stop <｜end▁of▁sentence｜>
PARAMETER stop <｜User｜>
PARAMETER stop <｜Assistant｜>

其他不用修改

打开终端输入进行镜像安装：

ollama create [自定义模型名字] -f [.mf 文件路径]

出现success表示安装完成

输入 ollama list  查看是否安装完成

执行deepseek模型 ollama run [模型NAME] ，就可以进行对话了

配置 Web UI 对话

首先我们通过谷歌浏览器官方插件地址搜索Page Assist，点击Page Assist - 本地 AI 模型的 Web UI，如下图所示：

安装完成后，就会出现如下图所示的界面：

Page Assist上传知识库参考

Ollama & AnythingLLM搭建AI知识库

搭建本地ai知识库教程
https://www.bilibili.com/video/BV1mgNceXERr/?spm_id_from=333.1387.search.video_card.click