deephub

摘要： 检索是 RAG 系统的搜索引擎，分块则是这个搜索引擎的基础。分块太长、太短、有噪声、切错了位置——随便犯哪个错LLM 都会有问题。行业里有句话流传很广："分块决定了 RAG 质量的 70%。" 这个说法不夸张：好的分块让检索器拿到完整、有上下文、真正相关的信息；差的分块把文档打成碎片，上下文断裂，L 阅读全文

摘要： 大语言模型在demo阶段总是看起来很惊艳。但一旦进入到生产环境很多问题就暴露了：不稳定、不可预测，甚至直接不可用。 从实践来看核心问题很少出在模型本身。更多时候是在于如何设计、评估和迭代应用模型的提示词。LLM应用的输入提示词必须适配具体任务，才能让模型在期望的输出范围内工作。 提示词工程在今天基本 阅读全文

摘要： Agent 搭建起来之后怎么让它真正变得越来越好？搭建完成后的优化就很少有人认真说过。Agent Lightning 号称能把任何 AI Agent 变成"可优化的猛兽"，而且几乎不用改代码。那问题来了，市面上 Agent 框架满天飞这个凭什么就不一样呢？ https://avoid.overfit 阅读全文

摘要： ChatGPT 发布之后，AI 智能体的概念就一直牵动着整个行业的想象力。它描绘的场景很诱人：给 AI 系统一个目标，让它自行拆解问题、调用工具、收集信息，最终综合出结果。 围绕这个概念的框架生态已经相当拥挤了：LangChain、CrewAI、AutoGen、Semantic Kernel、Age 阅读全文

摘要： 机器人领域的专家轨迹、互联网上的文本图像视频，这些数据让生成模型在机器人操控、语言生成与规划、视觉理解等任务上取得了惊人效果。但问题来了：换到具体任务上这些模型往往不太行。这是因为LLM 需要微调才能遵守安全约束或符合人类偏好，机器人策略也得继续训练才能弥补演示数据的不足。 扩散模型和流模型已经成为 阅读全文

摘要： 本文实现 FlashAttention-2 的前向传播，具体包括：为 Q、K、V 设计分块策略；流式处理 K 和 V 块而非物化完整注意力矩阵；实现在线 softmax 算法保证数值稳定性；支持因果和非因果两种注意力模式；用 Triton autotuner 自动调优内核配置；最后用 PyTorch 阅读全文

摘要： 编码是机器学习流程里最容易被低估的环节之一，模型没办法直接处理文本形式的分类数据，尺寸（Small/Medium/Large）、颜色（Red/Blue/Green）、城市、支付方式等都是典型的分类特征，必须转成数值才能输入到模型中。 那么问题来了：为什么不直接把 Red 编成 1，Blue 编成 2 阅读全文

摘要： 2025年LLM领域有个有意思的趋势：与其继续卷模型训练，不如在推理阶段多花点功夫。这就是所谓的推理时计算（Test-Time / Inference-Time Compute）：在推理阶段投入更多计算资源，包括更多Token、更多尝试、更深入的搜索，但不会改动模型权重。 ARC-AGI基准测试就是 阅读全文

摘要： 探索性数据分析（EDA）的本质不是画图和算统计量，而是不被自己的数据欺骗。 分类列是最容易出问题的地方。 city 、 category 、 product 、 department 、 role 、 customer_type ——这些列看起来很简单，跑个 value_counts() 画个柱状图 阅读全文

摘要： Daggr 是一个代码优先的 Python 库，可将 AI 工作流转换为可视化图，支持对 Gradio 管道进行检查、重跑和调试。 单模型、单 prompt 的简单 demo 通常不会有什么问题。但当工作流扩展到多个步骤，比如加入后处理函数、背景移除、转录摘要、检索重排等等时情况就开始失控了。 状态 阅读全文