实用指南:保姆级实战!Dify 开源大模型平台:本地 Docker 部署 + 企业级 RAG 知识库搭建全流程
一、Dify基本概念
Dify 是一款面向企业与开发者的开源大模型应用开发平台,核心目标是简化生产级生成式 AI 应用的构建流程 —— 无需从零搭建技术栈,即可快速落地从智能问答到自动化工作流的各类 AI 场景。它深度整合了模型管理、提示词优化、数据检索增强、可视化工作流编排及全链路监控能力,兼容超百种开源与商业大模型(如 Llama3、GPT-4o、Claude 3、通义千问等),同时提供 RAG(检索增强生成)全流程工具、Agent 智能体开发框架,以及可灵活扩展的插件体系(如第三方工具集成、自定义 API 对接)。
截至 2024 年中,Dify 在 GitHub 已积累 30k+ 星标,社区活跃贡献者超 500 人,其核心特性可概括为三点:
- 低代码 / 无代码双模式支持:通过拖拽式界面即可完成 Prompt 调试、知识库关联、Agent 工作流配置,非技术人员(如产品、运营)可快速搭建基础 AI 应用;开发者则可通过代码模式扩展自定义功能,平衡 “易用性” 与 “灵活性”。
- 全栈技术组件集成:内置 RAG 数据处理管道(文档解析、文本分段、向量索引)、多模型适配层(支持本地模型部署与云端 API 调用)、可观测性工具(日志分析、性能监控、成本统计),避免开发者重复开发基础模块,专注业务逻辑。
- 开源可私有化部署:代码完全开源(Apache 2.0 协议),支持 Docker 单机部署与 Kubernetes 集群部署两种方案,数据全程存储在自有服务器,满足金融、医疗等行业的 GDPR、HIPAA 合规要求,规避数据外泄风险。
二、Dify本地部署
1. Docker部署
如果没有在本机安装 Docker(Windows、Mac,或者 Linux), 可以参考文档自行安装。
https://docs.docker.com/engine/install/
安装完成后配置国内镜像源地址:

{
"builder":{
"gc":{
"defaultKeepStorage":"20GB",
"enabled":true
}
},
"debug":false,
"experimental":false,
"features":{
"buildkit":true
},
"insecure-registries":[
"registry.docker-cn.com",
"docker.mirrors.ustc.edu.cn"
],
"registry-mirrors":[
"https://mirror.aliyuncs.com",
"https://dockerproxy.com",
"https://mirror.baidubce.com",
"https://docker.m.daocloud.io",
"https://docker.nju.edu.cn",
"https://docker.mirrors.sjtug.sjtu.edu.cn",
"https://docker.mirrors.ustc.edu.cn",
"https://dockerproxy.com",
"https://registry.docker-cn.com",
"http://hub-mirror.c.163.com",
"http://mirrors.ustc.edu.cn/",
"https://mirrors.tuna.tsinghua.edu.cn/"
]
}
默认镜像保存于C盘,可在 设置 → Resources 中自定义设置。
2. Dify部署
硬件要求:CPU ≥ 2 核,RAM ≥ 4GB(推荐 8GB 以上以运行中等模型)
# 克隆仓库
git clone https://github.com/langgenius/dify.git
cd dify/docker
# 复制环境配置
cp .env.example .env
# 启动容器
sudo docker compose up -d
验证服务:访问 http://localhost/install,初始化管理员账号。

3. 模型配置
在“设置”—“模型供应商”中自定义配置所需的大模型API-KEY,类型包括Chat、Text Embedding、Rerank模型。

三、基于Dify的知识库搭建
1. Dify知识库介绍
Dify 知识库系统通过RAG(检索增强生成) 技术实现,核心流程:

LLM 接收到用户的问题后,将首先基于关键词在知识库内检索内容。知识库将根据关键词,召回相关度排名较高的内容区块,向 LLM 提供关键上下文以辅助其生成更加精准的回答。
开发者可以通过此方式确保 LLM 不仅仅依赖于训练数据中的知识,还能够处理来自实时文档和数据库的动态数据,从而提高回答的准确性和相关性。
支持多种文本类型,例如:
- 长文本内容(TXT、Markdown、DOCX、HTML、JSON 甚至是 PDF)
- 结构化数据(CSV、Excel 等)
- 在线数据源(网页爬虫、Notion 等)
将文件上传至“知识库”即可自动完成数据处理。如果内部已建有独立知识库,可以通过连接外部知识库与 Dify 建立连接。
2. 知识库搭建
“知识库”—“创建知识库”—“选择数据源”,选择作为知识库的来源。
2.1 指定分段模式
知识库支持两种分段模式:通用模式 与 父子模式。如果你是首次创建知识库,建议选择父子模式。

(1)通用模式
系统按照用户自定义的规则将内容拆分为独立的分段,在该模式下,需要根据不同的文档格式或场景要求,参考以下设置项,设置文本的分段规则。
分段标识符:如\n,可以遵循正则表达式语法自定义分块规则,系统将在文本出现分段标识符时自动执行分段。下图是不同语法的文本分段效果:

分段最大长度:指定分段内的文本字符数最大上限,超出该长度时将强制分段。默认值为 500 Tokens,分段长度的最大上限为 4000 Tokens;
分段重叠长度: 指的是在对数据进行分段时,段与段之间存在一定的重叠部分。这种重叠可以帮助提高信息的保留和分析的准确性,提升召回效果。建议设置为分段长度 Tokens 数的 10-25%;
配置完成后,点击“预览区块”即可查看分段后的效果。可以直观的看到每个区块的字符数。如果重新修改了分段规则,需要重新点击按钮以查看新的内容分段。
若同时批量上传了多个文档,轻点顶部的文档标题,快速切换并查看其它文档的分段效果。

(2)父子模式
与通用模式相比,父子模式采用双层分段结构来平衡检索的精确度和上下文信息,让精准匹配与全面的上下文信息二者兼得。
其中,父区块(Parent-chunk)保持较大的文本单位(如段落),提供丰富的上下文信息;子区块(Child-chunk)则是较小的文本单位(如句子),用于精确检索。系统首先通过子区块进行精确检索以确保相关性,然后获取对应的父区块来补充上下文信息,从而在生成响应时既保证准确性又能提供完整的背景信息。 可以通过设置分隔符和最大长度来自定义父子区块的分段方式。
例如在 AI 智能客服场景下,用户输入的问题将定位至解决方案文档内某个具体的句子,随后将该句子所在的段落或章节,联同发送至 LLM,补全该问题的完整背景信息,给出更加精准的回答。

其基本机制包括:
子分段匹配查询:
- 将文档拆分为较小、集中的信息单元(例如一句话),更加精准地匹配用户所输入的问题。
- 子分段能快速提供与用户需求最相关的初步结果。
父分段提供上下文:
- 将包含匹配子分段的更大部分(如段落、章节甚至整个文档)视作父分段并提供给大语言模型(LLM)。
- 父分段能为 LLM 提供完整的背景信息,避免遗漏重要细节,帮助 LLM 输出更贴合知识库内容的回答。
配置完成后,点击“预览区块”即可查看分段后的效果。可以查看父分段的整体字符数。背景标蓝的字符为子分块,同时显示当前子段的字符数。

(3)两种模式的区别
两者的主要区别在于内容区块的分段形式。通用模式的分段结果为多个独立的内容分段,而父子模式采用双层结构进行内容分段,即单个父分段的内容(文档全文或段落)内包含多个子分段内容(句子)。
不同的分段方式将影响LLM对于知识库内容的检索效果。在相同文档中,采用父子检索所提供的上下文信息会更全面,且在精准度方面也能保持较高水平,大大优于传统的单层通用检索方式。
2.2 索引方法与检索设置
提供高质量与经济两种索引方法,其中分别提供不同的检索设置选项:
在高质量模式下,使用Embedding嵌入模型将已分段的文本块转换为数字向量,帮助更加有效地压缩与存储大量文本信息;使得用户问题与文本之间的匹配能够更加精准。
将内容块向量化并录入至数据库后,需要通过有效的检索方式调取与用户问题相匹配的内容块。高质量模式提供向量检索、全文检索和混合检索三种检索设置。
(1)向量检索
定义:向量化用户输入的问题并生成查询文本的数学向量,比较查询向量与知识库内对应的文本向量间的距离,寻找相邻的分段内容。

Rerank模型: 默认关闭。开启后将使用第三方Rerank模型再一次重排序由向量检索召回的内容分段,以优化排序结果。帮助LLM获取更加精确的内容,辅助其提升输出的质量。
TopK: 用于筛选与用户问题相似度最高的文本片段。系统同时会根据选用模型上下文窗口大小动态调整片段数量。默认值为 3,数值越高,预期被召回的文本分段数量越多。
Score阈值: 用于设置文本片段筛选的相似度阈值,只召回超过设置分数的文本片段,默认值为 0.5。数值越高说明对于文本与问题要求的相似度越高,预期被召回的文本数量也越少。
(2)全文检索
定义:关键词检索,即索引文档中的所有词汇。用户输入问题后,通过明文关键词匹配知识库内对应的文本片段,返回符合关键词的文本片段;类似搜索引擎中的明文检索。

Rerank模型: 默认关闭。开启后将使用第三方Rerank模型再一次重排序由全文检索召回的内容分段,以优化排序结果。向LLM发送经过重排序的分段,辅助其提升输出的内容质量。
(3)混合检索
定义:同时执行全文检索和向量检索,或Rerank模型,从查询结果中选择匹配用户问题的最佳结果。

权重设置:允许用户赋予语义优先和关键词优先自定义的权重。关键词检索指的是在知识库内进行全文检索(Full Text Search),语义检索指的是在知识库内进行向量检索(Vector Search)。
Rerank模型:默认关闭,开启后将使用第三方Rerank模型再一次重排序由混合检索召回的内容分段,以优化排序结果。
3.知识库使用
运用Dify内置的应用模板创建基于知识库的问答系统,“工作室”—“从应用模板创建”—“Knowledge Retreival + Chatbot”:

在“Knowledge Retrieval”组件配置知识库名称和召回设置:

在“LLM”组件中设置模型类型及将知识库检索结果作为上下文:

设置完成后进行预览测试,可在工作流中查看每一步的运行情况,在“Knowledge Retrieval”输出中可查看知识库的检索结果:

四、总结
Dify通过知识库索引优化、多模态支持和动态参数校验,构建了企业级 AI 知识库的完整技术栈。其本地化部署方案在数据安全(GDPR/HIPAA 合规)、性能和成本上具有显著优势。无论是医疗、金融还是制造业,均可通过 Dify 实现私有数据的智能管理与精准应用。建议企业结合自身业务场景,灵活运用 FireCrawl 爬取、Xinference 模型部署等扩展方案,打造贴合需求的行业级知识库系统。
五、如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线科技企业深耕十二载,见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事,早已在效率与薪资上形成代际优势,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套 AI 大模型突围资料包:
- ✅ 从零到一的 AI 学习路径图
- ✅ 大模型调优实战手册(附医疗/金融等大厂真实案例)
- ✅ 百度/阿里专家闭门录播课
- ✅ 大模型当下最新行业报告
- ✅ 真实大厂面试真题
- ✅ 2025 最新岗位需求图谱
所有资料 ⚡️ ,朋友们如果有需要 《AI大模型入门+进阶学习资源包》,下方扫码获取~
① 全套AI大模型应用开发视频教程
(包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点)
② 大模型系统化学习路线
作为学习AI大模型技术的新手,方向至关重要。 正确的学习路线可以为你节省时间,少走弯路;方向不对,努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划,带你从零基础入门到精通!
③ 大模型学习书籍&文档
学习AI大模型离不开书籍文档,我精选了一系列大模型技术的书籍和学习文档(电子版),它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。
④ AI大模型最新行业报告
2025最新行业报告,针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。
⑤ 大模型项目实战&配套源码
学以致用,在项目实战中检验和巩固你所学到的知识,同时为你找工作就业和职业发展打下坚实的基础。
⑥ 大模型大厂面试真题
面试不仅是技术的较量,更需要充分的准备。在你已经掌握了大模型技术之后,就需要开始准备面试,我精心整理了一份大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

以上资料如何领取?

为什么大家都在学大模型?
最近科技巨头英特尔宣布裁员2万人,传统岗位不断缩减,但AI相关技术岗疯狂扩招,有3-5年经验,大厂薪资就能给到50K*20薪!

不出1年,“有AI项目经验”将成为投递简历的门槛。
风口之下,与其像“温水煮青蛙”一样坐等被行业淘汰,不如先人一步,掌握AI大模型原理+应用技术+项目实操经验,“顺风”翻盘!

这些资料真的有用吗?
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理,现任上海殷泊信息科技CEO,其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证,服务航天科工、国家电网等1000+企业,以第一作者在IEEE Transactions发表论文50+篇,获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目,无论你是小白还是有些技术基础的技术人员,这份资料都绝对能帮助你提升薪资待遇,转行大模型岗位。

以上全套大模型资料如何领取?

浙公网安备 33010602011771号