Ollama+DeepSeek+AnythingLLM构建自己的大模型

环境:
OS:windows 10

 

###################################ollama的安装与配置########################################

1.介质下载
下载地址:https://ollama.com/download

 

 

选择相应的操作系统版本下载,我这里下载的是windows版本。

 

2.下载后点击运行安装
OllamaSetup.exe
双击运行，点击install,默认安装在C盘

 

3.验证

说明安装成功

 

4.环境变量配置

Ollama 服务器默认只允许来自127.0.0.1的跨域请求，如果计划在其他前端面板中调用Ollama API，例如Chatbox或AnythingLLM，则需要放开跨域限制。放开跨域限制要配置下面两个环境变量：
OLLAMA_HOST：0.0.0.0
OLLAMA_ORIGINS：*

 

 

##############################deepseek模型拉取############################################

登录https://ollama.com/

 

 

 

在cmd命令行里执行 ollama run deepseek-r1:7b

 

############################AnythingLLM的安装与配置######################################

1.下载地址
https://anythingllm.com/desktop

选择相应的操作系统版本下载,我这里选择的是windows版本下载

 

 

下载完成后,双击安装文件安装即可

 

2.配置

 

 

新建工作区

 

 3.测试样例

准备文本文件ollama_test.txt

文件内容如下:

西岭百年产自广西富川县,是一款纯天然饮用水,年产量50亿吨.

 

文件上传到ollama

 

 

 

 

 

 

 4.设置milvus作为向量数据库

 当然这里需要提前部署好milvus

 

5.查看milvus里的数据

导入的文本进行embed后，相应的向量数据会存储到milvus里面(default数据库下)，可以登录查看

http://192.168.1.105:8000

账号密码默认为:root/Milvus