自己动手,搭建deepseek

说在前面的话

本文整理自不坑老师的视频公众号。

为什么要搭建本地环境

  • deepseek访问时,会出现系统繁忙
  • 我们希望能搭建一个本地知识库,让AI格局自己的知识来进行创作

下载ollama

ollama是什么

ollama的下载

官网下载:

Download Ollama on Windows 特点:速度慢

快速下载:

获取ollama的版本:

从下面的网页获取ollama的版本

Releases · ollama/ollama

我用的是0.3.6

GitHub 文件加速中快速下载

使用下面的字符串,拷贝到 GitHub 文件加速的文本框中,点击下载,实现快速下载:

https://github.com/ollama/ollama/releases/download/v0.3.6/OllamaSetup.exe

ollama的安装

找到OllamaSetup.exe可执行文件,双击安装即可。

获取deepseek-R1

Ollama中,选择Models标签,在Models页面中,找到deepseek-r1,选择版本,我选择的是8b, 在右边会显示获取命令,直接拷贝:

ollama run deepseek-r1

在windows的命令行中,运行这个命令。

在命令行中使用deepseek

如果再次运行,请使用ollama list查看deepseek-r1的版本。

ollama list
NAME              ID              SIZE      MODIFIED
deepseek-r1:8b    28f8fd6cdc67    4.9 GB    3 days ago

然后再使用ollama run deepseek-r1:8b执行,否则,可能会再次下载
因为ollama run deepseek-r1会理解成ollama run deepseek-r1:lastest, 而8b可能不是lastest,导致需要重新下载

删除deepseek

使用下面的命令删除deepseek模型

ollama rm deepseek-r1:8b

搭建Web访问环境

访问chatboxai网站

打开chatboxai网站:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

选择启动网页版:Chatbox

在弹出的对话框中,选择“Use My Own API Key/Local Model”

设置中文

在左下角,选择:settings/Display, language中,选择:简体中文

初次尝试对话

在下面的文本框中,输入:你好,会提示错误:

您已选择 Chatbox AI 作为模型提供方,但尚未输入 license key。请点击这里打开设置并输入您的 license key,或选择其他模型提供方

选择模型提供方:ollama

在左下角,选择:设置/模型, 在模型提供方,选择:OLLAMA API, API域名使用默认值即可, 在模型中,选择:deepseek r1:8b

设置本机环境

按win +X键, 选择“系统/高级系统设置”, 在弹出的界面中,选择“环境变量”

在用户变量中,新建环境变量:OLLAMA_HOST,设置值为0.0.0.0, 点击确定

再新建环境变量:OLLAMA_ORIGINS,值为*,点击确定

重启ollama

右下角,找到ollama的图标,退出ollama

再搜索中,输入ollama,查找到后,启动ollama

chatboxai中,使用deepseek-r1

打开chatboxai网站,选择启动网页版:Chatbox,在下面的文本框中,输入:你好

搭建本地知识库

让大模型根据本地知识库,进行问答及创作
挑战:
如何将知识库投喂给大模型
应对: 在外面构建一个知识库,让大模型读取知识库

安装anythingllm

下载

从下面的网址进行下载:
https://anythingllm.com/desktop

安装

下载后,双击文件进行安装。

完成后,点击Get Started。

在LLM Preference中,选择Ollama和deepseek的相应版本:

在Data Handling & Privacy页面,直接选择下一页:

在Welcome to Anything LLM页面中,选择Skip Survey

配置

在Create your first workspace中,添加一个“工作区名称”,例如: 学校

posted @ 2025-02-04 22:01  荣--  阅读(1591)  评论(0编辑  收藏  举报