AI 技术日报 - 2026-10-20

AI 技术日报 - 2026-10-20

Top 10 AI 技术要闻

  1. vLLM 联手 NVIDIA 优化 Kimi K3：GB300 上批大小 1 解码超 840 tokens/s
    vLLM 博客披露 Kimi K3 在 NVIDIA GB300 上的深度优化：团队用「Agent 辅助开发」构建了一条统一的 CuTe DSL 解码路径，覆盖 8 卡或 16 卡下的 attention、MoE 与通信。四条主线分别是按工作负载调形状、重叠计算与通信、改进 MoE 调度与重叠、把后续权重预取进缓存。结果是 16 卡 GB300 配 DSpark 时批大小 1 解码超 840 tokens/s，多种配置解码吞吐提升 1.5–2 倍，AgentX 工作负载 P90 交互性提升最多 1.8 倍。文章同时提出 fast-track 模型优化 RFC：隔离改动、限定范围但保留生产特性、系统化验证正确性，以应对 Agent 生成内核速度超过人工评审能力的问题。

链接：https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel

  1. Cloudflare 把 AI 代码审查账单砍掉 68%：先查清 token 花在哪
    Cloudflare 复盘其内部 AI 代码审查的成本失控与治理过程。4 月单次审查约 1.19 美元，8 月底涨到约 2.46 美元，主要原因不是架构变化而是换模型：全部评审 Agent 迁到 Anthropic 模型后单任务成本从 1.38 涨到 2.03 美元，其中 Codex 标准评审从 0.25 涨到 0.88 美元，反超协调器本身；单次审查 token 从 91 万增至 299 万。团队让 Agent 自己定位 token 去向并激进优化，高 effort 档平均成本降至 0.77 美元（降 68%），中位耗时从 4 分 09 秒降到 1 分 32 秒。约 40% 收益来自评审器代码优化，其余来自模型选择与 effort 调参；评审器也已切到 OpenCode v2，影子模式对比 98% 决策一致。

链接：https://blog.cloudflare.com/obsessive-inference-optimization/

  1. Meta「瘦编排器」实践：让路由层少干活，Agent 反而更可靠
    Meta 工程博客分享数据管道 Agent 的架构反思。最初他们把配置 schema、代码生成规则、流水线路由、校验要求、10 多个数据源的填充模式全部塞给一个「全知」Agent，演示阶段可用，上生产后开始幻觉：越过某个上下文阈值后，更多知识反而让性能下降，Agent 会把一个子系统的字段命名约定串到另一个子系统。改进方案是把编排层做薄：1300 行编排器只负责把 20 多条工作流路由到 14 个专用 Agent，自身不做任何领域推理，只保留顺序控制与可靠性检查。结论是「上下文更多不等于效果更好」，把领域决策交回专家 Agent 才是可维护的生产形态。

链接：https://engineering.fb.com/2026/10/19/ml-applications/thin-orchestrator-ai-agent-architecture/

  1. NVIDIA cuTile 重写 Mamba-2 前向三内核：用 Python 写 Tensor Core 级 kernel
    NVIDIA 技术博客介绍 Jane Street 工程师用 CUDA Tile（cuTile）实现 Mamba-2 状态空间模型前向，并与 NVIDIA 合作优化三个自定义内核。chunk_cumsum 在对数空间计算逐 token、逐 head 的衰减项累加和（ct.cumsum）并复用；fwd_pass_state 用 ct.mma 在 Tensor Core 上推进跨 chunk 的隐藏状态，套用带指数衰减与预乘操作数的 jump 公式；compute_out 把携带状态项、衰减且因果掩码的交互矩阵、残差连接融进单个分块内核，中间矩阵留在寄存器并转 TF32 执行。优化还包括 DRAM 流量延迟提示、操作数交换以路由到 Tensor Memory、为 TMA 转置内存布局，以及按输入形状搜索分块与占用率的自动调优器。

链接：https://developer.nvidia.com/blog/accelerating-mamba-2-with-high-performance-forward-pass-kernels-in-nvidia-cuda-tile/

  1. Taco：只用整数运算的 LLM 压缩器，保证跨 CPU/GPU 逐字节一致
    Taco 是一个用语言模型做无损压缩的实验项目：以 GPT-2 作为预测器，用区间编码器只保存模型没预测到的部分（fold/unfold）。关键设计是引擎 HardShell 全程只用整数算术，因此任何 CPU、GPU 算出的预测逐比特相同，一台机器压出的 .taco 文件可在其他机器上原样还原。作者在 7 种后端（3 个操作系统、2 种 CPU 架构、4 类处理器，含 Apple M2 的 NEON 与 Metal）上验证了 .taco 的 SHA-256 完全一致。项目目前是 0.1.0 alpha，速度慢、不能替代 zstd/xz，代码与测试主要由 Claude Code 生成，作者强调只能按测试覆盖程度信任实现。

链接：https://github.com/tac0mania/taco

  1. Google Research 开源 Harness²：递归优化 Agent 外壳，模型权重保持不动
    Harness² 是 Google Research 开源的「递归 Agent 外壳优化」框架，把 harness 定义为提示、工具、记忆、技能与编排的组合，并在不改模型权重的前提下自动改进它。它连接两层递归：任务级递归用对比式 Propose–Probe–Compose 在当前任务上提出改动、探测效果、再按行为差异组装新外壳，无需真值反馈；优化级递归则把采纳的外壳与有证据支撑的经验写入持久的 improvement harness，指导下个任务。在三个专业基准、四种模型—外壳组合上，单步优化即让 GLM-5 与 Gemini 3.5 Flash 超过基线：WorkBuddy-Bench 最多 +11.5 分、JobBench +4.5 分、LAB 部分通过率 +11.8 个百分点。Apache 2.0，支持 OpenCode/Codex 执行器。

链接：https://github.com/google-research/harness2

  1. Craig：在一个终端里并行跑 Claude Code、Codex、Cursor 的任务编排 TUI
    Craig 是 MIT 协议的开源编排器（npm install -g craig-cli，需 Node 22+），把 Claude Code、Codex、Cursor 等编码 Agent 放进同一个终端界面：每个任务自动创建独立分支与 Git worktree，多个任务在各自工作目录并行推进，互不干扰。它支持在一个工作区里跨多个仓库（前端、API 等）切换任务，保留各 Agent 原生 CLI 与登录态，同时把文件 diff、PR 状态与 CI 检查同步到同一视图，需要时可让 Agent 提交、开 PR 或合并。TUI 背后还有一套 CLI，脚本和其他 Agent 可以查询任务上下文、创建任务、操作工作区，适合不想在十几个标签页之间来回找的开发者。

链接：https://craig-cli.com/

  1. iphone-use-app：让 LLM 直接操控 iPhone 本身，运行时不需要 Mac
    iphone-use-app 是 Swift + Rust 编写的开源 iOS 应用（iOS 26+，AGPL-3.0），让模型直接操作它所在的那台 iPhone，无需越狱、无需额外硬件，运行时也不需要电脑。实现方式是在 App 内挂载开发者磁盘镜像（DDI），再通过 10.7.0.1 的回环 VPN 截屏并下发点击、滑动、输入、打开 App 等工具调用，每一步把截图发给模型（经 OpenRouter）决定下一步动作；配对文件只需在 Mac 上生成一次，因为 iOS 的开发者服务只对受信任主机开放。可从聊天界面、Siri、快捷指令或 iphoneuse:// 链接启动，Live Activity 提供进度与停止按钮，每次运行保存为一段对话。

链接：https://github.com/EliotAndres/iphone-use-app

  1. Qwen3-4B 去掉「AI 味」：在 MacBook Air 上微调出不用系统提示的小模型
    作者 Erik Kannike 把 Qwen3-4B-Instruct 的「助手腔」训练掉，发布 qwen3-4b-deslop，可用 Ollama 以 Q4_K_M（约 2.5GB）本地运行。训练只用了 161 条答案，数据来自按「AI 写作习惯」编写检测器打分后的筛选，覆盖破折号、「不是 X 而是 Y」、三段式排比、自问自答、delve/seamless 之类词汇。在 40 条训练中未见的提示上，slop 分数从每千词 121 降到 12.5，破折号从 20.5 降到 0，68% 的回答落入人类写作区间，同时 30/30 事实题仍答对。作者也记录了教训：中间版本分数更低（9.9）但写得更差——编造研究、句句用「, which」连接，最后靠第二个「是否回答了提示」的过滤器才修好。

链接：https://100toolkit.com/blog/deslop-model/

  1. Cloudflare 发布 Clairic：System One 抽取模型，单次前向直接给出数值
    Cloudflare 预览了新的 System One「抽取模型」类别，首个模型 Clairic 已上线 Workers AI（@cf/cloudflare/clairic），并计划开放权重。与 Jev、Clef 这类决策模型不同，Clairic 不在一组预设问题上给概率，而是直接从非结构化输入里返回三类结果：带字符偏移与置信度的抽取值（姓名、订单号）、按类型规则计算的数值（金额、日期、时长）、以及在声明区间内以分布形式给出的估计值（中位数 + 80% 区间）。它单次前向完成、不生成推理 token、只按输入计费，通常亚秒级响应，适合发票总额、延迟天数、维修报价、未来 24 小时流量这类反复出现、形状固定的结构化输出调用。

链接：https://blog.cloudflare.com/clairic-extraction-model/

数据来源：TheAIEra News Hub
生成时间：2026-10-20 08:20:00

posted @ 2026-10-20 08:17  iTech  阅读(29)  评论(0)    收藏  举报