摘要：RLHF（Reinforcement Learning fromHuman Feedback，人类反馈强化学习） 引言 在人工智能领域，尤其是自然语言处理（NLP）技术迅猛发展的今天，如何让机器更好地理解和满足人类的需求成为了一个关键问题。传统的训练方法依赖于大规模的语料库和基于规则的损失函数，但在 阅读全文

摘要：VLLM和LMdeploy 各有优劣 VLLM功能多，开发者多，代码比较容易懂也比较容易修改， 能适配不同的平台 LMdeploy执行效率高，开发者少，文档几乎没有，只支持NVidia 公司实际上线，肯定要博采众长，既要有LMdeploy的执行效率，也要参考VLLM的各种功能实现。 LMdelpoy 阅读全文

摘要：LMDeploy简介LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案，提供以下核心功能： 高效的推理：LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K 阅读全文

摘要：DPO（Direct Preference Optimization，直接偏好优化）和SFT（Supervised Fine-Tuning，有监督微调）是两种用于优化大语言模型（LLMs）的方法，它们在目标、训练流程和适用场景上存在显著区别。以下是两者的详细对比： 1. 概念与目标 SFT（有监督微 阅读全文

摘要：RAG模型上下文丢失问题解决方案对比传统的RAG（检索增强生成）系统通过将文档拆分为独立的小块，并为每个数据块单独生成嵌入向量来提升模型的检索能力。然而，这种方法容易丢失上下文信息，导致模型在处理长文本时理解力下降。为了解决这一问题，Anthropic提出了“Contextual Retrieval 阅读全文

摘要：下载数据： aws s3 cp s3://applied-nlp-book/data/ data --recursive --no-sign-requestaws s3 cp s3://applied-nlp-book/models/ag_dataset/ models/ag_dataset --r 阅读全文

摘要：开发者们在使用 RAG（检索增强生成模型）时经常会遇到一个问题——上下文缺失。因为单个数据块缺乏足够的背景，导致模型无法准确回答问题，甚至出现幻觉！先举几个例子让大家感受一下：- 数据块常常用代词来描述内容（比如：它、它们…），在检索时可能导致错误。- 许多问题的答案分散在多个数据块中，单个数据块无 阅读全文

摘要：RAGFlow 是一款开源的检索增强生成（RAG）引擎，结合了数据检索与生成式模型，旨在提升生成式 AI 系统的效率和性能。以下是其主要功能和特点： 1. 深度文档理解 RAGFlow 能够处理多种复杂格式的非结构化数据，如 PDF、Word 文档、PPT、Excel 表格、图片、扫描件、结构化数据 阅读全文

摘要：‌Ollama和vLLM在多个方面存在显著差异，主要包括应用场景、性能、硬件要求、安装难度和用户友好性等‌‌12。 应用场景 ‌Ollama‌：适合个人开发者、小型项目或需要快速部署的场景。它是一个轻量级且易于使用的框架，旨在简化大型语言模型的本地部署和运行。Ollama特别适合资源有限的设备和个人 阅读全文

摘要：LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发1. Ollama 部署的本地模型(🔺)Ollama 是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型（LLM）而设计。，这是 Ollama 的官网地址：ollama.co 阅读全文

摘要：1.部署ragflow1.1安装配置docker因为ragflow需要诸如elasticsearch、mysql、redis等一系列三方依赖，所以用docker是最简便的方法。 docker安装可参考Linux安装Docker完整教程，安装后修改docker配置如下： vim /etc/docker 阅读全文

摘要：文章目录前言一、RAGFlow的安装和部署1.安装2.注册登录二、添加模型1.配置 Ollama 连接大模型2.配置Xinference连接大模型三、知识库使用1.创建知识库2.上传文件解析四、聊天前言开源RAGFlow引擎：打造无幻觉、高精度的文档理解与生成体验 RAGflow，这个新兴的开源RA 阅读全文

摘要：引言 此前，笔者曾分享过自动写prompt的论文，本文则开展实践工作，用DSPy.MIPROv2来自动写提示词。 本文包含两部分内容： 介绍DSPy.MIPROv2优化器的原理和主要参数； 在AI生成文本检测任务上实践。 本文的所有代码已上传git： https://github.com/duany 阅读全文

摘要：什么是 DSPy？ DSPy（Declarative Self-improving Language Programs (in Python)）是斯坦福大学 NLP 研究人员开发的 "基础模型编程 "框架。它强调编程而非提示词，旨在简化复杂语言模型应用的构建过程。DSPy 允许开发者专注于应用程序的 阅读全文

摘要：机器之心报道 编辑：Panda 人工设计提示词太麻烦了！想过让 LLM 帮你设计用于 LLM 的提示词吗？ 近日，自称生成式 AI 黑带选手的谷歌研究者 Heiko Hotz 发布了一篇长文，详细介绍了自动提示词工程的概念、原理和工作流程，并通过代码从头实现了这一方法。 自动提示词工程是什么？ 自动 阅读全文

摘要：大模型微调新思路：LoRA技术解析LoRA，全称Low-Rank Adaptation，是一种用于大模型微调的新方法。它通过低秩分解来模拟参数的改变量，从而以极小的参数量实现大模型的间接训练。简单来说，LoRA就是在原模型旁边增加一个旁路，通过低秩分解来模拟参数的更新量。训练时，原模型保持固定，只训 阅读全文

摘要：转:https://mp.weixin.qq.com/s?__biz=Mzg4MzgxNDk2OA==&mid=2247495959&idx=1&sn=b516e46d808ed0ed195297c4c79d4ea8&chksm=cf431640f8349f56e9301ae6b364f9627eb 阅读全文

摘要：转：https://mp.weixin.qq.com/s?__biz=Mzg4MzgxNDk2OA==&mid=2247495162&idx=1&sn=ad5097c1ae3b5c95dbed2a1eccb9ba78&chksm=cf430aadf83483bb88819beaf86b5a9d401 阅读全文

摘要：阿里云Elasticsearch的AI搜索实践与探索近年来，Elasticsearch（简称ES）在AI领域的发展非常快。作为一名深耕ES领域近十年的研究者，我见证了ES的飞速发展，但像现在AI相关特性上如此快速的迭代，还是非常惊讶的，并意识到持续跟进AI技术的重要性，特别是在阿里云ES上，我们要去 阅读全文

摘要：近日，北京智源人工智能研究院与中国人民大学高瓴人工智能学院联合推出基于长期记忆的下一代检索增强大模型框架MemoRAG，旨在推动RAG技术从仅能处理简单QA任务向应对复杂一般性任务拓展。MemoRAG提出“基于记忆的线索生成——基于线索指引的信息获取——基于检索片段的内容生成”这一全新的RAG模式， 阅读全文