摘要： BM25和向量检索是两种不同的信息检索方法，它们在原理、效率、语义理解能力等方面存在显著区别，适用于不同的应用场景。以下是两者的详细对比： 方面BM25向量检索 原理 基于词频（TF）和逆文档频率（IDF）的统计方法，通过计算查询词与文档的相关性得分。 使用深度学习技术将文本转换为高维向量，通过向量 阅读全文

摘要： BGE（BAAI General Embedding）是智源研究院打造的通用语义向量模型。自2023年8月发布以来，智源团队陆续发布了中英文模型BGE v1.0、v1.5以及多语言模型 BGE-M3，截至目前，BGE 系列模型全球下载量超过 1500万，位居国内开源AI模型首位。BGE-M3模型一度 阅读全文

摘要： 在当今的信息检索领域，随着人工智能和自然语言处理技术的发展，稠密向量检索和稀疏向量检索成为了两种主要的研究方向。稠密向量检索依托于高维空间中的向量表示，能够捕捉文档的深层语义信息，而稀疏向量检索则侧重于关键词的匹配，依赖于文档中词条的存在与否。此外，BM25算法作为一种经典的信息检索模型，以其高效处 阅读全文

摘要： RLHF（Reinforcement Learning fromHuman Feedback，人类反馈强化学习） 引言 在人工智能领域，尤其是自然语言处理（NLP）技术迅猛发展的今天，如何让机器更好地理解和满足人类的需求成为了一个关键问题。传统的训练方法依赖于大规模的语料库和基于规则的损失函数，但在 阅读全文

摘要： VLLM和LMdeploy 各有优劣 VLLM功能多，开发者多，代码比较容易懂也比较容易修改， 能适配不同的平台 LMdeploy执行效率高，开发者少，文档几乎没有，只支持NVidia 公司实际上线，肯定要博采众长，既要有LMdeploy的执行效率，也要参考VLLM的各种功能实现。 LMdelpoy 阅读全文

摘要： LMDeploy简介LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案，提供以下核心功能： 高效的推理：LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K 阅读全文

摘要： DPO（Direct Preference Optimization，直接偏好优化）和SFT（Supervised Fine-Tuning，有监督微调）是两种用于优化大语言模型（LLMs）的方法，它们在目标、训练流程和适用场景上存在显著区别。以下是两者的详细对比： 1. 概念与目标 SFT（有监督微 阅读全文

摘要： RAG模型上下文丢失问题解决方案对比传统的RAG（检索增强生成）系统通过将文档拆分为独立的小块，并为每个数据块单独生成嵌入向量来提升模型的检索能力。然而，这种方法容易丢失上下文信息，导致模型在处理长文本时理解力下降。为了解决这一问题，Anthropic提出了“Contextual Retrieval 阅读全文

摘要： 下载数据： aws s3 cp s3://applied-nlp-book/data/ data --recursive --no-sign-requestaws s3 cp s3://applied-nlp-book/models/ag_dataset/ models/ag_dataset --r 阅读全文

摘要： 开发者们在使用 RAG（检索增强生成模型）时经常会遇到一个问题——上下文缺失。因为单个数据块缺乏足够的背景，导致模型无法准确回答问题，甚至出现幻觉！先举几个例子让大家感受一下：- 数据块常常用代词来描述内容（比如：它、它们…），在检索时可能导致错误。- 许多问题的答案分散在多个数据块中，单个数据块无 阅读全文