自己动手,搭建deepseek
说在前面的话
本文整理自不坑老师
的视频公众号。
为什么要搭建本地环境
- deepseek访问时,会出现系统繁忙
- 我们希望能搭建一个本地知识库,让AI格局自己的知识来进行创作
下载ollama
ollama是什么
ollama的下载
官网下载:
Download Ollama on Windows 特点:速度慢
快速下载:
获取ollama的版本:
从下面的网页获取ollama的版本
我用的是0.3.6
从GitHub 文件加速中快速下载
使用下面的字符串,拷贝到 GitHub 文件加速的文本框中,点击下载,实现快速下载:
https://github.com/ollama/ollama/releases/download/v0.3.6/OllamaSetup.exe
ollama的安装
找到OllamaSetup.exe可执行文件,双击安装即可。
获取deepseek-R1
在Ollama中,选择Models标签,在Models页面中,找到deepseek-r1,选择版本,我选择的是8b, 在右边会显示获取命令,直接拷贝:
ollama run deepseek-r1
在windows的命令行中,运行这个命令。
在命令行中使用deepseek
如果再次运行,请使用ollama list查看deepseek-r1的版本。
ollama list
NAME ID SIZE MODIFIED
deepseek-r1:8b 28f8fd6cdc67 4.9 GB 3 days ago
然后再使用ollama run deepseek-r1:8b
执行,否则,可能会再次下载
因为ollama run deepseek-r1
会理解成ollama run deepseek-r1:lastest
, 而8b可能不是lastest,导致需要重新下载
删除deepseek
使用下面的命令删除deepseek模型
ollama rm deepseek-r1:8b
搭建Web访问环境
访问chatboxai网站
打开chatboxai网站:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
选择启动网页版:Chatbox
在弹出的对话框中,选择“Use My Own API Key/Local Model”
设置中文
在左下角,选择:settings/Display, language中,选择:简体中文
初次尝试对话
在下面的文本框中,输入:你好,会提示错误:
您已选择 Chatbox AI 作为模型提供方,但尚未输入 license key。请点击这里打开设置并输入您的 license key,或选择其他模型提供方
选择模型提供方:ollama
在左下角,选择:设置/模型, 在模型提供方,选择:OLLAMA API, API域名使用默认值即可, 在模型中,选择:deepseek r1:8b
设置本机环境
按win +X键, 选择“系统/高级系统设置”, 在弹出的界面中,选择“环境变量”
在用户变量中,新建环境变量:OLLAMA_HOST,设置值为0.0.0.0, 点击确定
再新建环境变量:OLLAMA_ORIGINS,值为*,点击确定
重启ollama
右下角,找到ollama的图标,退出ollama
再搜索中,输入ollama,查找到后,启动ollama
chatboxai中,使用deepseek-r1
打开chatboxai网站,选择启动网页版:Chatbox,在下面的文本框中,输入:你好
搭建本地知识库
让大模型根据本地知识库,进行问答及创作
挑战:
如何将知识库投喂给大模型
应对: 在外面构建一个知识库,让大模型读取知识库
安装anythingllm
下载
从下面的网址进行下载:
https://anythingllm.com/desktop
安装
下载后,双击文件进行安装。
完成后,点击Get Started。
在LLM Preference中,选择Ollama和deepseek的相应版本:
在Data Handling & Privacy页面,直接选择下一页:
在Welcome to Anything LLM页面中,选择Skip Survey
配置
在Create your first workspace中,添加一个“工作区名称”,例如: 学校