shuyixiao

摘要： RAG系统的上下文压缩 一种上下文压缩技术来提高我们RAG系统的效率。将过滤和压缩检索到的文本块，以仅保留最相关的部分，减少噪音并提高响应质量。 在为RAG检索文档时，经常会得到包含相关和不相关信息的块。上下文压缩帮助我们： -删除不相关的句子和段落 -只关注与查询相关的信息 -最大化我们上下文窗口 阅读全文

摘要： RAG的相关段提取（RSE） 相关段提取（RSE）技术来提高RAG系统中的上下文质量。不是简单地检索孤立块的集合，而是识别和重建连续的文本段，为我们的语言模型提供更好的上下文。 关键概念 相关的块往往在文档中聚集在一起。通过识别这些集群并保持它们的连续性，我们为LLM提供了更连贯的上下文来使用。 在 阅读全文

摘要： 什么是 Webhook？ Webhook 是一种事件驱动的轻量级通信，可通过 HTTP 在应用之间自动发送数据。Webhook 由特定事件触发，可自动实现 应用编程接口（API）之间的通信，并可用于激活工作流，例如在 GitOps 环境中。 Webhook 可以将事件源连接到自动化解决方案，因此，它 阅读全文

摘要： RAG重排序 RAG重排序技术以提高RAG系统中的检索质量。重新排序充当初始检索后的第二个过滤步骤，以确保最相关的内容用于响应生成。 重排序的关键概念 1.初始检索：使用基本相似度搜索的第一遍（准确度较低但速度更快） 2.文档评分：评估每个检索到的文档与查询的相关性 3.重新排序：按相关性分数对文档 阅读全文

摘要： 本文介绍了一种增强型RAG系统，采用三种查询转换技术提升检索性能：1）查询重写技术使查询更加具体详细；2）退步提示生成更宽泛的背景性问题；3）子查询分解将复杂问题拆解为简单子问题。文章详细展示了各技术的Python实现代码，包括查询重写函数rewrite_query、退步提示函数generate_step_back_query和子查询分解函数decompose_query。同时介绍了PDF文本处理流程，包括文本提取函数extract_text_from_pdf和分块函数chunk_text，最后通过create_embeddings函数生成文本向量。这些方法无需依赖LangChain等专门库即可实现检索性能提升。 阅读全文

摘要： 带有问题生成的文档增强RAG 通过问题生成使用文档增强来实现增强的RAG方法。通过为每个文本块生成相关问题，改进了检索过程，从而从语言模型中获得更好的响应。 具体实现步骤 1.数据摄取：从PDF文件中提取文本。 2.chunking：将文本拆分为可管理的块。 3.问题生成：为每个块生成相关问题。 4 阅读全文

摘要： 上下文标头在RAG中使用 增强生成（RAG）通过在生成响应之前检索相关的外部知识来提高语言模型的事实准确性。然而，标准组块经常丢失重要的上下文，使得检索不太有效。上下文块标头（CCH）通过在嵌入每个块之前为每个块添加高级上下文（如文档标题或部分标头）来增强RAG。这提高了检索质量并防止了断章取义的响 阅读全文

摘要： 本次需要击毙的MySQL函数 函数主要用于获取部门的完整层级路径，方便在应用程序或SQL查询中直接调用，快速获得部门的上下级关系信息。执行该函数之后简单使用SQL可以实现数据库中部门名称查询。例如下面sql select name,GetDepartmentParentNames(du.depart 阅读全文

摘要： RAG中的上下文丰富检索，检索增强生成（RAG）通过从外部来源检索相关知识来增强AI响应。传统的检索方法返回孤立的文本块，这可能导致答案不完整。为了解决这个问题，引入了上下文丰富检索，它确保检索到的信息包括相邻的块以获得更好的一致性。 -数据摄取：从PDF中提取文本。 -带有重叠上下文的分块：将文本 阅读全文

摘要： 基础RAG实现，最佳入门选择（一） 从 PDF 中提取文本 import fitz # PyMuPDF库，用于读取和操作PDF文件 import os # 提供操作系统路径和文件操作相关功能 import numpy as np # 提供多维数组与科学计算支持 import json # 用于处理J 阅读全文