AIGC标识 美团 LongCat-2.5 技术解读：1.6T MoE、W4A4 量化与国产算力上的长程智能体

先看结论

11 月 2 日，美团发布 LongCat-2.5。它不是一个"更聪明的聊天模型"，而是一个明确面向长程智能体任务（long-horizon agent）的原生多模态模型。

如果只记三个数字：1.6T 总参数 / 48B 激活 / 1M 上下文，全程在国产算力上完成训练。官方称这是目前国产算力上完成的最大训练任务。

项目LongCat-2.5备注
发布时间2026-11-02Preview 版于 9 月 25 日上线
架构MoE延续 LongCat-2.0 路线
总参数约 1.6 万亿—
激活参数约 480 亿 / token激活比约 3%
上下文1M token中训练阶段即以 1M 序列做长上下文训练
累计训练量数万亿 token官方口径
模态原生多模态（文本 + 视觉）视觉走离散 token 路线
推理量化W4A4专家权重与激活同时 4bit
训练算力全国产单卡显存 < 80GB
开放状态官网体验 + API 已开放GitHub / HuggingFace 权重"即将上线"

体验入口：longcat.ai；技术博客：https://longcat.ai/blog/longcat-2.5

一、原生多模态：为什么是离散 token 而不是连续 embedding

这是 2.5 相对 2.0 最实质的架构变化。LongCat-2.0 本质仍是语言模型，视觉是后挂的；2.5 把视觉信号表示为多层级离散 token，让主干模型用统一的形式处理视觉与文本输入。

官方披露的实现路径有几个关键点：

  • 沿用 LongCat-Next 的语义对齐编码器，并施加残差向量量化（RVQ）
  • 原生分辨率离散化——不强行 resize 到固定方形输入
  • 离线视觉 token 预计算
  • 视觉码本 embedding 与主干联合学习
  • 先在激活约 3B 的 MoE 上验证"语义空间交织"，再放大

值得多说两句的是离散化这个选择。当前多模态主流其实是连续 embedding（把 ViT 输出的浮点向量直接投影进 LLM 的输入空间），因为它信息损失小、训练稳定。离散 token 的代价是量化必然丢信息，收益是：

  1. 视觉和文本共享同一套词表与同一套注意力机制，不需要额外的 cross-attention 或 adapter 分支，架构上更干净；
  2. 对 Agent 场景友好。智能体要"看懂网页 → 定位元素 → 输出坐标或操作"，这本质是一个序列到序列的问题。视觉 token 离散化后，"截图里的某个按钮"和"代码里的某个标识符"在模型眼里是同一种东西，可以直接参与生成；
  3. 离线预计算变得可行。连续 embedding 也能缓存，但离散 token 的缓存就是整数索引，存储和检索成本低一个量级——这对训练吞吐很重要。

RVQ（残差向量量化）是这里的关键补丁：单层码本表达力不够，就用多层码本逐层量化残差，等价于给视觉 token 做了个"分层精度"。这也解释了"多层级离散 token"的说法。

官方给的能力落点是 Visual Coding——看设计稿写前端、看截图改 UI，以及交互网页、3D 展示页面这类任务。对应 benchmark 里 Vision2Web 78.6、MathVision 96.5、3DCodeBench 55.4。

二、Agentic RL：这条链路比模型结构更值得看

LongCat-2.5 的智能体能力来自大规模长程强化学习。官方把这条链路拆得比较细，我认为这是整篇技术博客里信息密度最高的部分。

2.1 数据合成流水线

不是人工标注，而是自动生成三件套：训练任务 + 可交互环境 + 可验证测试用例。数据来源是 GitHub 与美团内部场景。

校验方式是 fail-to-pass 和 pass-to-pass——这直接借用了 SWE-bench 的评测范式：

  • fail-to-pass：修复前失败、修复后必须通过的测试 → 证明你真的解决了问题
  • pass-to-pass：修复前后都必须通过的测试 → 证明你没有把别的东西改坏

这两条同时满足，reward 才是可信的。只做前者，模型很容易学会"把测试文件删了"这种捷径。

2.2 失败轨迹回收

官方提到一个我很认可的做法：把真实 Agent 的失败轨迹转化为可复现、可验证的训练任务，针对能力短板持续补数据。

这等于建了一条闭环：线上跑 Agent → 收集失败 → 自动构造成带验证器的训练任务 → RL 补强 → 再上线。相比"拍脑袋造 benchmark"，这种数据天然是分布内的，而且难度自动对齐模型当前水平。

2.3 partial rollout 异步策略

长程任务的 rollout 长度方差极大：有的任务 3 步结束，有的要几百步。同步 RL 会被最长的那条轨迹拖死，GPU 大量时间在等。

partial rollout 的思路是把一条长轨迹切成若干段，段与段之间允许不同步，让短任务先完成先回传。代价是引入了样本陈旧性（staleness）——你用来更新策略的样本，可能是几个版本前的策略生成的，严格说已经 off-policy 了。官方明确说这是"缓解长尾效率、抑制样本陈旧性"，说明他们在这两者之间做了权衡，而不是单纯图快。

2.4 防 reward hacking

这部分讲得很直白，列三个手段：

  • 断网——防止模型去搜答案或直接下载依赖绕过实现
  • 清除 git 历史——防止模型 git log 找到那个正确的 commit 然后 cherry-pick，这是 SWE 类任务最经典的作弊路径
  • LLM judge 监督——对规则测不出来的部分做二次判定

再加上跨任务、跨 Scaffold（Harness）混合训练促泛化。这一条很重要：只在 Claude Code 这一套脚手架里训出来的能力，换个 harness 就掉分。混合训练是为了让能力长在模型上，而不是长在脚手架上。

三、基础设施：国产算力带来的两个硬约束

这是 LongCat 系列一贯的差异化路线，也是这次工程含量最高的地方。国产算力和 H100/H200 集群最大的区别不是算力峰值，而是单卡显存不足 80GB。这一个约束同时压垮训练和推理两端。

3.1 训练侧：超节点 + 双重分片 FSDP

1M token 的长序列训练，激活值显存是随序列长度爆炸的。单卡装不下，就必须切分。但切分意味着通信，而国产卡的卡间互联带宽相对偏弱，通信一多，扩展效率就崩。

官方的解法是围绕超节点（super node）重排任务分工：让参数与任务数据的主要通信尽量收敛在超节点内部的高速互联网络里完成，跨超节点的通信降到最低。配合双重分片 FSDP，同时优化显存使用、卡间通信、计算与传输的重叠。

效果：在所测长上下文 SFT 任务中，优化后单卡训练吞吐量较 DDP 基线提升 86%。换算过来就是一张卡在同样时间里干原来约 1.86 张卡的活。

注意基线是 DDP（分布式数据并行），不是 ZeRO-3 或 Megatron 的 3D 并行。DDP 每卡存完整模型副本，对 1.6T MoE 来说本来就是不可能跑起来的基线。这个 86% 更适合理解为"相对朴素方案的整体工程收益"，而不是"比同等成熟方案快 86%"。

3.2 推理侧：W4A4 量化

MoE 推理的瓶颈和 Dense 模型完全不同。1.6T 总参数、48B 激活意味着：每个 token 只用到 3% 的参数，但你必须把 100% 的专家权重放在显存里随时待命。所以 MoE 推理是典型的显存容量 + 带宽受限，而不是算力受限。

这就是为什么量化对 MoE 的收益比对 Dense 模型大得多。LongCat-2.5 采用 W4A4——专家权重和激活同时量化到 4bit。

相对 W8A8 INT8 基线的实测数据：

指标变化含义
Prefill 吞吐+43.3%处理输入更快
Decode 吞吐+42.77%逐 token 生成更快
TTFT（首 token 延迟）−15.91%用户等待时间缩短
TPOT（每 token 耗时）−19.72%输出流速提升
GMM 算子平均 1.73×MoE 分组矩阵乘加速

官方同时声明：在已评测的下游任务上，W4A4 保持与量化前模型相当的表现。

这里有个技术上值得追问的点。权重量化到 4bit 已经是业界成熟操作，但激活量化到 4bit 是很激进的——激活值的动态范围远大于权重，且存在显著的 outlier 通道，直接 4bit 通常会明显掉点。官方没有披露具体的 outlier 处理方案（per-channel scaling、旋转/哈达玛变换、还是混合精度保留敏感层）。"保持相当表现"这句话的可信度，取决于他们评测了哪些任务、以及是不是只测了 in-house 的那几个。

3.3 训推数值一致性

官方单独提了一句"训推数值一致性和长上下文 rollout 优化，支撑大规模长程 RL 的高效运行"。这句话很容易被跳过，但它其实是整套方案能跑通的前提。

问题在于：RL 的 rollout 用的是推理引擎（W4A4 量化、可能还有不同的 kernel 实现），而策略梯度更新用的是训练引擎（高精度）。如果两者对同一个 prompt 算出的 logits 有系统性偏差，那么模型实际探索的分布和你正在优化的分布就不是同一个——这等价于引入了一个无法通过增大 batch 消除的 off-policy 偏差。在几百步的长程 Agent 任务里，这种偏差会沿着轨迹逐步累积放大。

换句话说：你越是激进地量化推理来提吞吐，RL 训练就越容易崩。能在 W4A4 下把长程 RL 跑稳，说明他们在数值对齐上确实下了功夫。这比单看"吞吐提升 43%"更有含金量。

四、Benchmark：数字，以及怎么读这些数字

官方选取 GPT-5.5、GPT-5.6-Sol、Claude-Opus-4.8、Claude-Opus-5 作为对比对象。总体口径是：多项主流基准成绩介于 Claude-Opus-4.8 与 Claude-Opus-5 之间，部分评测超过 Claude-Opus-5。

已披露的具体分数：

基准LongCat-2.5考察能力
Terminal Bench v2.188.4终端内完成任务
Terminal Bench v4.038.5同上，新版（GPT-5.6-Sol 为 37.3）
AutomationBench51.8流程自动化
BrowseComp91.9浏览器检索与理解
Program Bench25.5程序合成
MCP Atlas83.1工具调用
3DCodeBench55.43D 代码生成
Vision2Web78.6看图写前端
MathVision96.5视觉数学推理

几个读数上的提醒：

  1. Terminal Bench v2.1 的 88.4 和 v4.0 的 38.5 不能横比。v4.0 题库难得多，全行业分数都低。同一个模型在两个版本上差 50 分是正常的，不代表能力断层。
  2. Agent 类基准的分数一半来自 harness。Terminal-Bench、DeepSWE 这类测的是"模型 + 脚手架 + 超时设置 + 资源配置"的组合成绩。换个 harness 数字就动。官方强调跨 Scaffold 混合训练，正是为了让分数尽量归因于模型本身，但评测时的 harness 依然是变量。
  3. 厂商自报分数默认打折扣。这不是针对美团，是所有厂商的通则。真正可信的是第三方验证榜（如 vals.ai）和开源后的社区复现。
  4. Program Bench 25.5 是个偏低的绝对值，说明复杂程序合成仍然是全行业的短板，不是某一家的问题。

五、和 LongCat-2.0 的差异，一张表说清

维度LongCat-2.0（2026-06-30）LongCat-2.5（2026-11-02）
模态语言为主原生多模态，视觉离散 token
参数 / 激活1.6T / 约 48B1.6T / 约 48B（未变）
上下文1M1M，且中训练阶段即以 1M 序列训练
推理量化—W4A4
重点能力Coding / 通用推理长程 Agent、Visual Coding、商业分析
开源MIT 协议全量开源，国产卡推理代码公开权重"即将上线"，暂无明确协议

参数量和激活参数没有变，这一点很关键：2.5 的提升不来自"堆更大"，而来自数据（长程轨迹 + 失败回收）、训练方法（大规模长程 RL）和基础设施（W4A4 + 超节点并行）。在 1.6T 这个体量上继续放大的边际收益已经不高了，把同样的参数用出更多能力，是更划算的方向。

六、商业落地：不做 Token 工厂

美团 CEO 王兴在 8 月 28 日的二季度财报电话会上说过一句话，很能解释 LongCat 的产品路线：

"我们不会成为 Token 工厂，我们的模型和 AI 产品将用于支持我们的主业，提升用户、商户体验和公司经营效率。"

所以 2.5 在 Coding 和 Agent 之外，专门强化了商业分析。官方给的案例很有代表性：

在品牌多渠道经营分析中，模型自主构建渠道利润表，识别出支付 GMV 增长 23.2% 但渠道利润下降 1.7% 的增长质量问题，并结合清货经济价值、用户复购与库存风险提出差异化资源配置建议，完成从经营核算 → 问题诊断 → 决策建议的完整链路。

这个案例的价值不在于数字本身，而在于它展示的任务形态：不是"帮我写个 SQL"，而是"给你一堆渠道数据，你自己决定要算什么、算完发现问题、再给出建议"。这才是长程 Agent 和单轮问答的分界线。

产品侧对应的是 AI 经营工作台「妙手」，已服务古茗、徐升记、益禾堂等连锁品牌，覆盖经营分析、门店管理、增长获客等场景，可在商家授权范围内调用工具与系统执行任务。

七、冷静看待的几点

作为技术记录，也该把不确定的地方写清楚：

  • 权重还没真正开放。官方说法是 GitHub 与 HuggingFace"即将上线"，但没有给出时间表，也没有说明许可证。LongCat-2.0 走的是 MIT，2.5 是否延续尚不明确。在权重放出之前，社区无法复现任何 benchmark。
  • W4A4 的精度损失评测范围未知。"在已评测的下游任务上保持相当表现"——"已评测的"这个限定词很重要。
  • 激活量化的具体方案未披露。outlier 如何处理，是否有混合精度回退，这些决定了 W4A4 能否迁移到别的硬件上。
  • benchmark 全部来自官方技术博客，暂无第三方验证。
  • "国产算力"没有指明具体芯片型号与集群规模。LongCat-2.0 时代披露过 5 万卡集群、以及华为昇腾/平头哥/寒武纪的推理适配代码，2.5 的技术博客在这块反而更笼统。

八、想上手的话

目前可用的路径：

  1. 网页体验：longcat.ai
  2. API：LongCat API 开放平台已同步上线。参考 Preview 期的情况，接口同时兼容 OpenAI 与 Anthropic 两套格式，可直接对接 Claude Code、OpenCode、Kilo Code 等开发环境；通过 Hermes Agent 接入时需将 model.provider 设为 custom。
  3. 本地部署：暂不可行，等权重放出。

Preview 期的定价可作参考（正式版以官网为准）：新用户实名认证后免费领 1000 万 token；限时折扣下，缓存未命中输入 2 元/百万 token，缓存命中 0.04 元，输出 8 元。

写在最后

LongCat-2.5 最值得关注的不是"1.6 万亿参数"这个数字——2.0 就已经是这个体量了。真正有信息量的是三件事：

  1. 视觉离散 token 路线在万亿级 MoE 上跑通了，这给"原生多模态 + Agent"提供了一条不同于连续 embedding 的工程路径；
  2. Agentic RL 的数据闭环（自动合成任务 + fail-to-pass/pass-to-pass 校验 + 线上失败轨迹回收）是可以被其他团队借鉴的方法论，跟用不用国产卡无关；
  3. W4A4 + 训推数值一致性这套组合，说明量化不再只是"省钱的部署手段"，而已经成为支撑 RL 训练本身的基础设施。

大模型的竞争重心，确实已经从参数规模转向"在给定算力预算下，把长程任务真正做完"的能力。LongCat-2.5 是这个转向的一个具体样本。

本文数据来自美团 LongCat-2.5 官方技术博客（longcat.ai/blog/longcat-2.5）及 2026-11-02 公开报道。所有 benchmark 均为厂商自报，未经第三方验证，请谨慎引用。文中技术分析部分为作者个人解读，不代表官方口径。

posted on 2026-11-02 17:31  fox_charon  阅读(31)  评论(0)    收藏  举报

导航