Retrieval-Augmented Generation(RAG)

1 RAG基础知识

1.1 为什么要使用RAG

1.2 流程

1.3 技术栈

项目	作用	技术栈推荐 (考虑数据安全)	技术栈推荐 (不考虑数据安全)
知识管理	1. 完成数据工程 2. 完成知识增、删、改等	1. PDF文件解析：目标检测模型(yolox) 和 OCR模型 2. 开发框架：LangChain, LlamaIndex 3. embedding模型：最好跟大模型配 (bge-large-zh-v1.5/m3e)	1. PDF文件解析：基于多模态大模型，GPT4等 2. 开发框架：LangChain, LlamaIndex 3. embedding模型：最好跟大模型配 (Embedding-2, text-embedding-ada-002)
知识检索	1. 知识检索	1. 大模型：开源模型(Qwen系列, GLM系列) 2. 向量数据库：Faiss / Milvus 3. 开发框架：LangChain, LlamaIndex 4. re-rank模型：bge-reranker-large 5. embedding模型：跟知识管理平台一个模型 6. 前后端框架：VUE / FastAPI	1. 大模型：在线模型(GPT4.0, GLM4等) 2. 向量数据库：Faiss / Milvus / TencentCloud / VecorDB 3. 开发框架：LangChain, LlamaIndex 4. 需要比较简单使用coze, dify等在线平台 5. re-rank模型：bge-reranker-large 6. embedding模型：跟知识管理平台一个模型 7. 前后端框架：VUE, FastAPI
效果评估	1. 知识效果评估	1. 人工打分 2. 基于开源大模型自研评估逻辑	1. 人工打分 2. 基于在线大模型自研评估逻辑 3. RAG评估开源工具：trulens/ragas

2 进阶

2.1 RAG所遇到的问题与解决方案

Reference

• Sentence Embedding | 良睦路程序员 - Bilibili