人工智能学习——华为AI Day11

交通大模型的RAG应用实践

一、概述

基于RAG的交通大模型
RAG(rETRIEVAL-Augmented Generation)通过给LLM外挂知识库，让LLM在生成内容时利用外部数据源的信息，可以一定程度解决这些问题。
主要功能：从知识库中检索相应的片段，转换成向量，辅助大模型通过向量快速获取知识片段来回复交通相关的问题；

RAG应用

• 上传论文、文档
• 输入Prompt进行提问
• 搜索引擎搜索结果将多篇网页内容总结输出；

RAG主要流程

• 数据加载与清洗
• 数据分块
• 创建向量库
• 创建RAG chain
• query改写

RAG实验流程

 

二、资源准备

数据清洗

　　模块：langchain构建大语言模型（LLM）的应用库；

数据分块

　　分块规则：大块分块，小块分块

• 根据markdown中“#”分割，例如512个token、20个分割焦点；
• 通用文本分割器
• 格式化文档分割器
• 语义分割器：SemanticChunker嵌入模型，基于语义相似性，需要大量的计算；
• 其他专用分割器
• SpacyTextSplitter：使用SpaCy分词器按句子分割；
• NLTKTextSplitter：使用NLTK的句子分词器分割；

 

三、RAG案例

涉及Prompt设计，通过模块设计来查看索引导航、向量问题、向量数据等