Ollama+DeepSeek+AnythingLLM部署本地知识库，离线使用！

一、本地部署，我们可以通过Ollama来进行安装

Ollama 官方版：【点击前往】

1.根据自己的系统选择linux或者windows、mac的安装包，因为我的系统是ubuntu，所以下载linux版本的

2.解压并安装ollama。

（1）解压：tar xzvf /home/ubuntu/ollama-linux-amd64.tgz -C /usr/local/            #解压到/usr/local/  目录下

（2）cd /usr/local/bin &&OLLAMA_HOST=0.0.0.0 ollama serve &                      #启动ollama服务，OLLAMA_HOST=0.0.0.0表示服务监听0.0.0.0IP，因为默认 ollama serve  监听的是127.0.0.1，在远端电脑上无法使用Anything LLM连接。

3.安装deepseek-r1

根据自己的显卡，参照下图，下载对应版本的模型

   因为我本地是24GB显存的显卡，所以我安装ollama run deepseek-r1:14b

 使用魔法下载更快哦，如果没有魔法，下载速度在100kb左右，有魔法将近10MB

ollama run deepseek-r1:14b

 

 4.启动 deepseek

下载完成后可以通过ollama list 查看，并通过ollama run deepseek-r1:14b 启动

root@AI-server:~# ollama list
NAME                       ID              SIZE      MODIFIED
deepseek-r1:7b             0a8c26691023    4.7 GB    49 minutes ago
nomic-embed-text:latest    0a109f422b47    274 MB    49 minutes ago
deepseek-r1:1.5b           a42b25d8c10a    1.1 GB    55 minutes ago
root@AI-server:~#
root@AI-server:~# ollama run deepseek-r1:7b
>>>
>>>
root@AI-server:~# ollama ps
NAME              ID              SIZE      PROCESSOR    UNTIL
deepseek-r1:7b    0a8c26691023    6.0 GB    100% GPU     4 minutes from now

root@AI-server:~# ollama run deepseek-r1:14b --keepalive 1000h      # --keepalive 1000h表示运行的这个模型在1000h内，要是没有被访问，这个模型就会自己停止，如果有使用，则每次使用后都会刷新UNTIL的时间为1000h

root@AI-server:~# ollama ps
NAME              ID              SIZE      PROCESSOR    UNTIL
deepseek-r1:7b    0a8c26691023    6.0 GB    100% GPU     4 minutes from now
deepseek-r1:14b    ea35dfe18182    11 GB     100% GPU     5 weeks from now             #可以看到，5周后模型才会停止

如上，通过ollama ps 查看已启动

根据自己的显卡显存大小选择：

5b:4GB显存

7b、8b：12GB显存

14b:12GB-24GB显存

32b：24GB以上显存

 ollama run deepseek-r1:1.5b

　　ollama run deepseek-r1:7b

　　ollama run deepseek-r1:8b

　　ollama run deepseek-r1:14b

　　ollama run deepseek-r1:32b

　　ollama run deepseek-r1:70b

 

 5.修改ollama下载的模型存放路径。默认是在当前用户的家目录下，~/.ollama/models

 

（1）    创建模型数据存放目录：mkdir -pv /data1/ollama/models

 

（2）添加环境变量：

 

vim /etc/profile
export OLLAMA_MODELS=/data1/ollama/models

 

　执行使配置生效：source    /etc/profile

（3）将~/.ollama/models中的数据mv到

/data1/ollama/models

（4）重启ollama服务

6.升级ollama版本

  直接在官网下载最新的安装包，然后tar xzvf /home/ubuntu/ollama-linux-amd64.tgz -C /usr/local/   解压就行

二. AnythingLLM 下载

1.下载并安装

（1）Github 开源版 【点击下载】

（2）官方版：【点击下载】

进入官网，下载windows版本，直接点击安装即可。

2.连接deepseek模型

（1）如下图，点击左下角的 open settings

（2）选择LLM

Ollama Base URL：是ollama部署的服务器地址，这就是上面为什么要监听0.0.0.0的原因，不然这一步无法连接。

（3）新建聊天工作区

（4）随便命名

（5）选择聊天的LLM为ollama，然后拉到最下面，保存

（6）上传本地文件作为deepseek学习的知识库，如下图

 （7）开始提问