deephub

摘要： 机器人领域的专家轨迹、互联网上的文本图像视频，这些数据让生成模型在机器人操控、语言生成与规划、视觉理解等任务上取得了惊人效果。但问题来了：换到具体任务上这些模型往往不太行。这是因为LLM 需要微调才能遵守安全约束或符合人类偏好，机器人策略也得继续训练才能弥补演示数据的不足。 扩散模型和流模型已经成为 阅读全文

摘要： 本文实现 FlashAttention-2 的前向传播，具体包括：为 Q、K、V 设计分块策略；流式处理 K 和 V 块而非物化完整注意力矩阵；实现在线 softmax 算法保证数值稳定性；支持因果和非因果两种注意力模式；用 Triton autotuner 自动调优内核配置；最后用 PyTorch 阅读全文

摘要： 编码是机器学习流程里最容易被低估的环节之一，模型没办法直接处理文本形式的分类数据，尺寸（Small/Medium/Large）、颜色（Red/Blue/Green）、城市、支付方式等都是典型的分类特征，必须转成数值才能输入到模型中。 那么问题来了：为什么不直接把 Red 编成 1，Blue 编成 2 阅读全文

摘要： 2025年LLM领域有个有意思的趋势：与其继续卷模型训练，不如在推理阶段多花点功夫。这就是所谓的推理时计算（Test-Time / Inference-Time Compute）：在推理阶段投入更多计算资源，包括更多Token、更多尝试、更深入的搜索，但不会改动模型权重。 ARC-AGI基准测试就是 阅读全文

摘要： 探索性数据分析（EDA）的本质不是画图和算统计量，而是不被自己的数据欺骗。 分类列是最容易出问题的地方。 city 、 category 、 product 、 department 、 role 、 customer_type ——这些列看起来很简单，跑个 value_counts() 画个柱状图 阅读全文

摘要： Daggr 是一个代码优先的 Python 库，可将 AI 工作流转换为可视化图，支持对 Gradio 管道进行检查、重跑和调试。 单模型、单 prompt 的简单 demo 通常不会有什么问题。但当工作流扩展到多个步骤，比如加入后处理函数、背景移除、转录摘要、检索重排等等时情况就开始失控了。 状态 阅读全文

摘要： PyTorch 的即时执行模式在原型开发阶段很方便，但在推理性能上存在明显短板。每个张量操作独立启动 kernel、独立访问显存，导致内存带宽成为瓶颈GPU 算力无法充分利用。 torch.compile 通过提前构建计算图来解决这个问题。它的核心策略是操作融合和缓冲区复用：第一次调用需要编译而之后 阅读全文

摘要： LangGraph 设计的一个核心是：多智能体工作流本质上是图结构，而非线性链。早期 LLM 应用普遍采用"提示 → LLM → 响应"的线性模式，但这种架构难以应对真实智能体系统的复杂性。比如生产环境中的多智能体协作需要分支（基于数据选择不同执行路径）、循环（支持重试与迭代优化）、汇合（多个智能体 阅读全文

摘要： 当前主流 AI 智能体框架有一个共同的局限：智能体只能按预设逻辑执行任务，无法从运行时反馈中持续学习。模型权重是静态的，提示词需要人工迭代，整个系统缺乏自我优化的闭环。 Agent Lightning 针对这一问题提出了解决方案。它是一个框架无关的强化学习包装层，可以套在任意现有智能体外部，让智能体 阅读全文

摘要： 这篇文章从头实现 LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures。需要说明的是，这里写的是一个简洁的最小化训练脚本，目标是了解 JEPA 的本质：对同一文本创建两个视图，预测被遮蔽片段的嵌入， 阅读全文