摘要: 2025年LLM领域有个有意思的趋势:与其继续卷模型训练,不如在推理阶段多花点功夫。这就是所谓的推理时计算(Test-Time / Inference-Time Compute):在推理阶段投入更多计算资源,包括更多Token、更多尝试、更深入的搜索,但不会改动模型权重。 ARC-AGI基准测试就是 阅读全文
posted @ 2026-02-06 21:00 deephub 阅读(1) 评论(0) 推荐(0)
摘要: 探索性数据分析(EDA)的本质不是画图和算统计量,而是不被自己的数据欺骗。 分类列是最容易出问题的地方。 city 、 category 、 product 、 department 、 role 、 customer_type ——这些列看起来很简单,跑个 value_counts() 画个柱状图 阅读全文
posted @ 2026-02-05 22:57 deephub 阅读(1) 评论(0) 推荐(0)
摘要: Daggr 是一个代码优先的 Python 库,可将 AI 工作流转换为可视化图,支持对 Gradio 管道进行检查、重跑和调试。 单模型、单 prompt 的简单 demo 通常不会有什么问题。但当工作流扩展到多个步骤,比如加入后处理函数、背景移除、转录摘要、检索重排等等时情况就开始失控了。 状态 阅读全文
posted @ 2026-02-04 20:52 deephub 阅读(3) 评论(0) 推荐(0)
摘要: PyTorch 的即时执行模式在原型开发阶段很方便,但在推理性能上存在明显短板。每个张量操作独立启动 kernel、独立访问显存,导致内存带宽成为瓶颈GPU 算力无法充分利用。 torch.compile 通过提前构建计算图来解决这个问题。它的核心策略是操作融合和缓冲区复用:第一次调用需要编译而之后 阅读全文
posted @ 2026-02-03 22:22 deephub 阅读(2) 评论(0) 推荐(0)
摘要: LangGraph 设计的一个核心是:多智能体工作流本质上是图结构,而非线性链。早期 LLM 应用普遍采用"提示 → LLM → 响应"的线性模式,但这种架构难以应对真实智能体系统的复杂性。比如生产环境中的多智能体协作需要分支(基于数据选择不同执行路径)、循环(支持重试与迭代优化)、汇合(多个智能体 阅读全文
posted @ 2026-02-02 21:10 deephub 阅读(3) 评论(0) 推荐(0)
摘要: 当前主流 AI 智能体框架有一个共同的局限:智能体只能按预设逻辑执行任务,无法从运行时反馈中持续学习。模型权重是静态的,提示词需要人工迭代,整个系统缺乏自我优化的闭环。 Agent Lightning 针对这一问题提出了解决方案。它是一个框架无关的强化学习包装层,可以套在任意现有智能体外部,让智能体 阅读全文
posted @ 2026-02-01 21:14 deephub 阅读(15) 评论(0) 推荐(0)
摘要: 这篇文章从头实现 LLM-JEPA: Large Language Models Meet Joint Embedding Predictive Architectures。需要说明的是,这里写的是一个简洁的最小化训练脚本,目标是了解 JEPA 的本质:对同一文本创建两个视图,预测被遮蔽片段的嵌入, 阅读全文
posted @ 2026-01-31 21:36 deephub 阅读(6) 评论(0) 推荐(0)
摘要: 只用了几年时间,上下文窗口就从 4k 膨胀到 1000 万。Meta 发布的 Llama 4 Scout 的时候说这个模型支持 1000 万 Token,是 Llama 3 那 128k 的 78 倍。而Google Gemini 3 Pro 是 100 万,Claude 4 也桐乡市100万。 一 阅读全文
posted @ 2026-01-30 22:36 deephub 阅读(5) 评论(0) 推荐(0)
摘要: DQN 用 max Q(s',a') 计算目标值,等于在挑 Q 值最高的动作,但是这些动作中包括了那些因为估计噪声而被高估的动作,素以就会产生过估计偏差,直接后果是训练不稳定、策略次优。 这篇文章要解决的就是这个问题,内容包括:DQN 为什么会过估计、Double DQN 怎么把动作选择和评估拆开、 阅读全文
posted @ 2026-01-29 21:24 deephub 阅读(6) 评论(0) 推荐(0)
摘要: 如果你认为Claude Code 的使用流程就是随手丢一句话,然后就等结果那你就错了。 比如你对Claude Code 说 "重构这段代码,找出bug,写测试,优化性能,顺便解释一下。" 你可以看到它确实在努力,但结果一塌糊涂:可能在重构动了业务逻辑,解释写了一半就没了下文了,而且测试跟项目框架对不 阅读全文
posted @ 2026-01-28 21:48 deephub 阅读(6) 评论(0) 推荐(0)