生成式AI—— 提高用户文本生成体验的方法

　　为了 改进LLM文本生成结果，开发人员仅限于改进提示，并且有许多提示工程技术可以帮助。可通过以下方式来改进用户文本生成体验。

一、以编程方式修改用户提示

　　若要向用户对话添加系统提示，不使用特殊API。根据需要再提示中附件指令，可使用如下方法来改进用户提示：

　　1.1上下文启动　　　　　　

　　　　*创建系统提示，明确在特定域中设定会话的上下文

　　　　*如在每次交互开始时，提供简短说明或一组说明，指导LLM将说明保留在问题域中

　　1.2、基于示例的指导

　　　　*在初始提示中，包括与域相关的问题和答案类型的示例

　　　　*基于示例的指导可帮助AI了解预期相应类型

 

二、实现推理管道

　　推理管道生成是一个过程：

　　　　1、清理原始输入(如文本或图像)

　　　　2、将提示发送到LLM(预处理)

　　　　3、检查LLM的答案，确保满足用户的需求，最后再显示(后处理)

　　预处理——可以包括检查关键字、评分相关性或更改查询以更好地适应域。如询问LLM提示是否有意义、是否符合规则、是否基于正确的想法，或是否需要重写以避免偏见。若LLM发现问题，可要求它重写提示以获取更好的答案。

　　后处理——检查答案是否符合你的域并满足你的标准。可删除或标记与规则不匹配的答案。如检查LLM的答案是否符合质量和安全需求。可要求LLM查看其答案，并根据需要进行更改，重复此过程，直到获得良好的结果

 

三、Retrieval-Aumented Generation（RAG）——检索增强生成

　　1、RAG是一种将信息检索技术与生成式AI相结合的技术架构

　　2、检索增强（RAG）的核心逻辑是：先查资料，再写答案

　　　　当LLM收到问题时，不会立刻凭借记忆回答，而是先去外部的海量文档库中搜索相关信息，把参考资料喂给LLM,LLM基于参考资料生成最终的回答

　　3、检索增强生成(RAG),主要是为了解决传统LLM的两大弱点而生

　　　　3.1、解决“知识滞后”问题（实时性）　　

　　　　　　大模型的训练数据是有截止日期的，如果截止日期是2026年3月28日，你问它4月8日的新闻，它是答不上来的。检索增强生成通过连接外部数据库，可以让LLM随时获取最新、最实时的信息

　　　　3.2、减少“机器幻觉”，提高回答准确性

　　　　　　大模型有事会自信的编造事实。检索增强生成强制大模型基于检索到的真实文档作答，大大降低了胡说八道的概率，并且通常能够提供引用来源，让答案更可信

　　　　3.3、保护隐私与降低成本(经济性)

　　　　　　企业不需要为了更新知识而重新训练昂贵的模型(微调)。只需要更新外部的知识库文档就可，省钱的同时，也保护了企业私有数据不泄露给公有模型

　　4、检索增强生成核心组件

　　

核心组件	作用	常用工具/技术
数据源	存放知识的“图书馆”，如PDF、Word、网页、数据库。	企业内部文档、维基百科等
向量数据库	将知识转化为计算机能理解的数学向量，方便快速查找。	Milvus, FAISS, Pinecone, Weaviate
检索器	负责“找资料”。将用户的问题转化为向量，去数据库里找最相似的内容。	语义搜索、关键词匹配 (BM25)
生成器	负责“写答案”。即我们熟知的大语言模型，负责阅读资料并总结回答。	GPT-4, Claude, Llama, Qwen (通义千问)

　　5、检索增强生成的运行过程分为：离线准备、在线回答

　　　　5.1、离线准备

　　　　　　*数据加载：收集各种文档，如产品手册、法律法规等

　　　　　　*文本切片：将长篇大论分成一个个的文本块(Chunk)，如每500字切一块

　　　　　　*向量化与储存：使用嵌入模型(Embedding Model)将文本块转为数学向量，存入向量数据库中

　　　　5.2、在线回答

　　　　　　*用户提问：如公司关于迟到扣款的最新规定是什么？

　　　　　　*查询向量化：系统将问题转化为向量

　　　　　　*检索（Retrieval）：系统在向量数据库中搜索，找出与问题最相关的几个文本块

　　　　　　*增强(Augmentation)：系统构建一个超级提示词，格式通常是“请根据以下参考资料：【检索到的文本块】，来回答用户的问题”

　　　　　　*生成（Generation）：大模型接收到这个包含资料的提示词，综合整理后，生成一段通顺、准确的回答给到你