书生开源大模型训练营-第3讲-笔记

1、大模型的局限性

a、知识只能截止到训练时间；

b、垂直领域的专业能力有限；

c、训练成本高，定制化成本高；

 

2、解决大模型局限性的两种思路RAG VS FT

RAG：外挂一个知识库，通过检索得到文档，再将检索到文档和问题一起输入给大模型来生成答案。优点：成本极低、知识可更新；缺点：受限于基座大模型的能力、在跨度大的文档中总结和生成效果；

FT：在基座模型后，用一个小的新的训练集继续微调训练，从而在新的领域的表现更好。优点：充分拟合个性化知识，特别是隐含知识、有基座模型的广泛知识域；缺点：成本高、知识无法更新

 

3、RAG原理：

 

4、LangChain简介

LangChain开源大模型开发框架，提供大模型开发接口，帮助开发者快速搭建大模型应用。

Chains是LangChain最核心组件，是把一些列大模型操作封装在一起，构成一个端到端应用。比如检索问答链可以把RAG中涉及到的向量数据库，问答生成等都串在一起，快速构建一个RAG应用。

 

5、基于LangChain构建RAG应用全流程：

 

6、RAG应用之搭建向量数据库

a、源文件加载为文本字符串：不同格式的源文件对应不同类型加载器，加载完成后都变成统一的字符串。

b、字符分割：将文本字符串切割为固定长度的字符串，可以有重叠；

c、利用向量数据库将分割后的文本串变成向量存起来，比较适合入门的向量数据库chroma；

 

7、RAG应用之搭建知识库助手

InternLM提供了和LangChain的集成，可以嵌入到LangChain的RAG链中

 

8、RAG应用优化

a、主要待优化点：检索精度、Prompt性能

b、检索精度提升：基于语义来切分chunk，为chunk建立索引

c、Prompt性能：Prompt策略优化，激发大模型的潜能

 

9、RAG应用之Web Demo

常用部署框架:Gradio、StreamIt

 

10、实战