deephub

摘要： 人们喜欢长上下文，智能体记得你的项目、你的偏好、你说话的方式，连你那些反复冒出来的琐碎任务都帮你记着，所以用起来当然顺手。但顺手归顺手，顺手不等于靠谱，把这两件事搞混后面的麻烦就来了。 可靠性问题的起点恰恰是人们把长上下文当免费能力用的那一刻。你扩展了上下文就等于换了一个被测系统，测的不再是模型本身 阅读全文

摘要： 用语言模型写代码、查数据库、跑自动化流程这些事情大家早就习以为常了。Vibe Coding 到今年二月刚好满一年，绝大多数人或多或少都在用它搞定代码库、写文档、处理各种杂活。但有一个问题始终是避免不了的：任务一多Agent 就开始丢三落四甚至开始一本正经地胡说八道。 MCP 让外部工具的接入变得很方 阅读全文

摘要： Model Context Protocol 是一个开放标准，它的目标是给 LLM 一种干净、统一的方式去发现和调用外部工具。不用再写自定义解析、不用再维护脆弱的胶水代码，就是一个好用的协议。 大多数 MCP 教程上来就讲 JSON-RPC 规范、传输层协议，搞得很复杂。其实用 MCP 不需要理解协 阅读全文

摘要： 自然语言理解、摘要生成、代码编写、逻辑推理，OpenAI 等厂商的模型把这些事情做得相当好。但是只有一个问题，那就是 “贵".尤其是在应用上了规模之后，API 调用费用的增长速度会让人心跳加速。 Prompt 缓存是应对这个问题最直接也最容易被忽视的手段。本文会从原理讲到实践，覆盖四种不同层级的缓存 阅读全文

摘要： 检索是 RAG 系统的搜索引擎，分块则是这个搜索引擎的基础。分块太长、太短、有噪声、切错了位置——随便犯哪个错LLM 都会有问题。行业里有句话流传很广："分块决定了 RAG 质量的 70%。" 这个说法不夸张：好的分块让检索器拿到完整、有上下文、真正相关的信息；差的分块把文档打成碎片，上下文断裂，L 阅读全文

摘要： 大语言模型在demo阶段总是看起来很惊艳。但一旦进入到生产环境很多问题就暴露了：不稳定、不可预测，甚至直接不可用。 从实践来看核心问题很少出在模型本身。更多时候是在于如何设计、评估和迭代应用模型的提示词。LLM应用的输入提示词必须适配具体任务，才能让模型在期望的输出范围内工作。 提示词工程在今天基本 阅读全文

摘要： Agent 搭建起来之后怎么让它真正变得越来越好？搭建完成后的优化就很少有人认真说过。Agent Lightning 号称能把任何 AI Agent 变成"可优化的猛兽"，而且几乎不用改代码。那问题来了，市面上 Agent 框架满天飞这个凭什么就不一样呢？ https://avoid.overfit 阅读全文

摘要： ChatGPT 发布之后，AI 智能体的概念就一直牵动着整个行业的想象力。它描绘的场景很诱人：给 AI 系统一个目标，让它自行拆解问题、调用工具、收集信息，最终综合出结果。 围绕这个概念的框架生态已经相当拥挤了：LangChain、CrewAI、AutoGen、Semantic Kernel、Age 阅读全文

摘要： 机器人领域的专家轨迹、互联网上的文本图像视频，这些数据让生成模型在机器人操控、语言生成与规划、视觉理解等任务上取得了惊人效果。但问题来了：换到具体任务上这些模型往往不太行。这是因为LLM 需要微调才能遵守安全约束或符合人类偏好，机器人策略也得继续训练才能弥补演示数据的不足。 扩散模型和流模型已经成为 阅读全文

摘要： 本文实现 FlashAttention-2 的前向传播，具体包括：为 Q、K、V 设计分块策略；流式处理 K 和 V 块而非物化完整注意力矩阵；实现在线 softmax 算法保证数值稳定性；支持因果和非因果两种注意力模式；用 Triton autotuner 自动调优内核配置；最后用 PyTorch 阅读全文