AnythingLLM 搭建私有知识库：Docker 部署 + 接 DeepSeek

我电脑里躺着一堆文档：开发笔记、部署手册、API 用法，还有各种“以后再看”。写代码卡住了，问 Claude 它答得头头是道；问我自己存过的东西，比如半年前那个部署问题当时怎么解决的，它只能摊手：没这个记忆。

所以这事交给一个专门干这事的工具：AnythingLLM。开源免费，用 Docker 自托管在自己的服务器上，问答模型接 DeepSeek。文档嵌进去之后，问“上次那个部署坑后来怎么解决的”，它能从里面翻出当时的记录，还标了出处。

这篇把搭建过程走一遍：部署、接模型、喂文档、调参数。常见问题放最后，命令都能直接抄。

AnythingLLM 是干什么的

一句话：把文档变成能问答的私有知识库。传 PDF、Word、Markdown 都行，问它问题，它从文档里找答案。

它用的技术叫 RAG（检索增强生成），说人话就是：文档先被切成小块，每块转成一串数字（向量）存进向量库；你提问时，它把问题也转成向量，去库里找最相关的几块，连同问题一起交给大模型回答。它不“背”你的文档，是“现查现答”。

后面一堆问题的根源都在这条机制里，先记住一句：文档必须嵌入过，模型才看得见。

我这么搭的理由很直白：AnythingLLM 免费开源，Docker 自托管数据全在自己手里，DeepSeek 的 API 便宜。三样加起来，维护成本约等于零。不想折腾 Docker 的，官方也有桌面版，双击安装就能用，就是数据在本地单机上。

Docker 部署

一条命令的事（Linux / macOS）：

export STORAGE_LOCATION=$HOME/anythingllm && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
--name anythingllm \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm

Windows 用户把目录换成自己的路径，命令结构一样，官方文档里有现成的 PowerShell 版本。

跑完浏览器打开 http://localhost:3001，首次进入会让你设管理员账号。

-v 那两行是命根子：把数据目录挂到宿主机。不挂的话，容器一重启，知识库连配置带文档全没。官方文档专门警告过这件事。

装完先别急着传文档，去设置里把模型接了。

接 DeepSeek，配嵌入模型

AnythingLLM 要配两个东西：负责生成回答的大模型（LLM），和负责把文本转成向量的嵌入模型（Embedder）。容易混，分开说。

LLM：设置 → LLM 首选提供商 → 选 DeepSeek。API Key 在 platform.deepseek.com 申请，按量付费，个人查笔记用量很省。模型选 deepseek-flash，现在的通用款，个人问答够用；deepseek-v4-pro 是高端款，查笔记用不上那个价。它默认开着思考模式，回答前会先想一小段，AnythingLLM 这边暂时关不掉，等得起就行。

嵌入模型：设置 → 嵌入模型首选提供商。起步直接用内置的 AnythingLLM Embedder，免费，CPU 就能跑。代价：首次嵌入会下载一个 23MB 的模型文件。它底层是 all-MiniLM-L6-v2，英文语料训练的，中文笔记检索会打折。怎么打折、怎么救，最后那节有。

向量库用默认的 LanceDB，零配置，别动。

建工作区，喂笔记

工作区（Workspace）是 AnythingLLM 最重要的概念。一个工作区就是一套独立的知识库，配一套独立的对话。模型只看得见嵌入到这个工作区里的文档，别的区里有什么它一概不知。

建一个工作区，把要喂的文档一批批拖进去。传完的文档在工作区的文档列表里能看到状态，等它从“处理中”变成已嵌入，就能问了。

新版还有个容易搞混的地方。聊天框里也能直接拖文档，那是“附加”模式：整篇塞进上下文，只对当前这次会话有效，换会话就没了。嵌入才是正经路子：文档进向量库，任何会话、任何问题都能检索到。临时问一句用附加，长期知识库用嵌入。

问答效果不对，按顺序调四个地方

喂完文档，先问几个自己知道答案的问题试水。答不上来或者答非所问，按性价比调：

第一，相似度阈值（工作区设置 → 向量数据库 → Document similarity threshold）。默认最低 25% 相似度才采纳检索结果。中文笔记配上英文训练的嵌入模型，相关片段经常低于这条线被误杀。这是“文档明明喂了却答不上来”的头号元凶，直接改成 No restriction 再试。

第二，上下文片段数（Max Context Snippets）。每次检索给模型带几块文本，保持 4-6 就够。加多了噪音跟着涨，别贪。

第三，检索偏好（Search Preference），只有默认的 LanceDB 才有。默认“最快”模式只挑最相关的几块；换成 Accuracy Optimized 会多搜一批再重排，慢 100-500 毫秒，但几乎总是更准。

第四，分块参数（设置 → AI Providers → Text Splitter & Chunking）。默认每块 1000 字、重叠 20 字。块大上下文连贯，块小检索精准，看内容形状调。这个参数改了只对新嵌入的文档生效，老文档还是旧参数切的块，要对比就移除重嵌。

顺序照这个来：先放开阈值，不行再开重排，最后才动分块。

常见的问题

1. 文档喂了，还是答不上来

最常见，几乎每个第一次用的人都会撞上。模型只看得见嵌入到当前工作区的文档；传到了别的地方、或者状态还在处理中，它一概不知。先查工作区文档列表里的状态，确认已嵌入再问。

2. 容器一重启，库全没了

没挂 -v 卷。部署命令里那两行 -v 一行都不能省，数据默认存在容器内的 /app/server/storage，容器一删就跟着没了。

3. 启动就崩，日志 Illegal instruction (core dumped)

老 CPU 不支持 AVX2 指令集，默认向量库 LanceDB 的原生模块跑不起来。老机器、部分云主机、开了 KVM 的虚拟机容易中招。这个问题没修复，最省心的是换台支持 AVX2 的机器。真要在老机器上跑，就得换掉 LanceDB，但这不是改一行 .env 里 VECTOR_DB 的事：qdrant、weaviate、pgvector 都是独立服务，得自己先部署起来再配连接；而且早前有人实测，改了 VECTOR_DB 之后标准镜像照样崩，最后是换 mintplexlabs/anythingllm:pg 镜像、用 DATABASE_URL 直接连 Postgres 才绕开。

4. 报错 unable to open database file

存储目录没写权限。镜像默认用 UID/GID 1000 运行，你手动把目录建在 /mnt、/data 这类 root 目录下就会这样。sudo chown -R 1000:1000 $STORAGE_LOCATION 解决。网上老 issue 有人让 chmod -R 777，别学：那等于把 .env 里的 API Key 也变成人人可读。

5. 改了分块参数，没效果

上面说过，只对新嵌入的文档生效。要对比就移除文档重新嵌入。

6. 中文笔记检索稀烂

内置嵌入模型是英文语料训练的，中文向量质量本来就差，再叠上 25% 阈值误杀，等于白问。两个一起治：阈值放开，再换中文友好的嵌入模型。最省事的是不接外部服务，内置的 AnythingLLM Embedder 本身就能换模型：嵌入模型设置里选 multilingual-e5-small，官方标注支持 100 多种语言。模型 487MB，比 MiniLM 大不少，CPU 上慢一点，但中文检索像样多了。想再进一步的，用 Ollama 跑 bge-m3 这类也行。换嵌入模型后旧向量会失效，界面会提示你重置，按提示走就行。

7. DeepSeek 模型名选错

AnythingLLM 的模型列表是从 DeepSeek 那边动态拉的，不在列表里的名字直接连不上。现在有效的就 deepseek-flash 和 deepseek-v4-pro 两个；旧的 deepseek-chat、deepseek-reasoner 2026 年 7 月已经停用，网上不少旧教程还在教这两个，别抄。

写在最后

这套适合笔记多、经常要找“我之前记的 X”、又不想把资料放别人服务器上的人。个人开发者搭一个，半小时能跑通，不花什么钱，常见问题上面都列了。

不适合硬套的场景也说清楚：要查实时数据、要做结构化查询的，别拿 RAG 硬扛。它检索的是“相关片段”，不是数据库，问“上季度订单总额”这种问题，它给不了你准数。

跟 Agent 的记忆也别混。AnythingLLM 存的是文档，按需检索；Agent 记忆存的是对话里形成的约定。两个不冲突，可以这么分工：笔记和资料进 AnythingLLM，工作约定进 Agent 记忆。

这个号主要写 AI 编程工具实战，自托管和知识库这类省钱玩法也会接着记。AnythingLLM 后面还有 Agent 模式和 API 接入值得写，关注了新文直接推到订阅里。

入口：

• AnythingLLM 官方文档（Docker 部署）：https://docs.anythingllm.com/installation-docker/local-docker
• GitHub 仓库：https://github.com/Mintplex-Labs/anything-llm
• 官网：https://anythingllm.com
• DeepSeek 开放平台：https://platform.deepseek.com