deephub

摘要： RAG 分块重叠提升了召回率但增加了隐藏成本，比如说索引膨胀、Embedding 开销、延迟、重排序负载和评估漂移。 本文将总结的八项 RAG 分块重叠隐藏的成本，以及如何判断什么时候重叠真正有用，什么时候只是花钱买心安。 https://avoid.overfit.cn/post/fa6ebd13 阅读全文

摘要： 把一个RAG系统从Demo做到生产，中间要解决5个问题。 最初的版本就是标准版：全量文档 embedding，向量检索，LLM生成。演示没出过问题，但是翻车发生在数据留存政策的时候，因为系统召回了两段2废弃条款和一段聊"员工留存"的HR文档，然后把这三段内容揉成了一个看似完整实则全错的回答。 这不是 阅读全文

摘要： Agentic AI的核心不在LLM选型也不在提示词技巧。真正决定一个Agent能否在无人值守的情况下稳定工作的是它背后的系统设计。 本文就总结了构建AI系统时真正绕不开的10个基础概念 1、MCP：通用插件系统 https://avoid.overfit.cn/post/4ed56ec4bdcb4 阅读全文

摘要： 人们喜欢长上下文，智能体记得你的项目、你的偏好、你说话的方式，连你那些反复冒出来的琐碎任务都帮你记着，所以用起来当然顺手。但顺手归顺手，顺手不等于靠谱，把这两件事搞混后面的麻烦就来了。 可靠性问题的起点恰恰是人们把长上下文当免费能力用的那一刻。你扩展了上下文就等于换了一个被测系统，测的不再是模型本身 阅读全文

摘要： 用语言模型写代码、查数据库、跑自动化流程这些事情大家早就习以为常了。Vibe Coding 到今年二月刚好满一年，绝大多数人或多或少都在用它搞定代码库、写文档、处理各种杂活。但有一个问题始终是避免不了的：任务一多Agent 就开始丢三落四甚至开始一本正经地胡说八道。 MCP 让外部工具的接入变得很方 阅读全文

摘要： Model Context Protocol 是一个开放标准，它的目标是给 LLM 一种干净、统一的方式去发现和调用外部工具。不用再写自定义解析、不用再维护脆弱的胶水代码，就是一个好用的协议。 大多数 MCP 教程上来就讲 JSON-RPC 规范、传输层协议，搞得很复杂。其实用 MCP 不需要理解协 阅读全文

摘要： 自然语言理解、摘要生成、代码编写、逻辑推理，OpenAI 等厂商的模型把这些事情做得相当好。但是只有一个问题，那就是 “贵".尤其是在应用上了规模之后，API 调用费用的增长速度会让人心跳加速。 Prompt 缓存是应对这个问题最直接也最容易被忽视的手段。本文会从原理讲到实践，覆盖四种不同层级的缓存 阅读全文

摘要： 检索是 RAG 系统的搜索引擎，分块则是这个搜索引擎的基础。分块太长、太短、有噪声、切错了位置——随便犯哪个错LLM 都会有问题。行业里有句话流传很广："分块决定了 RAG 质量的 70%。" 这个说法不夸张：好的分块让检索器拿到完整、有上下文、真正相关的信息；差的分块把文档打成碎片，上下文断裂，L 阅读全文

摘要： 大语言模型在demo阶段总是看起来很惊艳。但一旦进入到生产环境很多问题就暴露了：不稳定、不可预测，甚至直接不可用。 从实践来看核心问题很少出在模型本身。更多时候是在于如何设计、评估和迭代应用模型的提示词。LLM应用的输入提示词必须适配具体任务，才能让模型在期望的输出范围内工作。 提示词工程在今天基本 阅读全文

摘要： Agent 搭建起来之后怎么让它真正变得越来越好？搭建完成后的优化就很少有人认真说过。Agent Lightning 号称能把任何 AI Agent 变成"可优化的猛兽"，而且几乎不用改代码。那问题来了，市面上 Agent 框架满天飞这个凭什么就不一样呢？ https://avoid.overfit 阅读全文