如果你在 2026 年 10 月走进国内任何一家头部模厂的后训练团队，会发现大家讨论的主题早就换了。
一年前，大伙还在聊怎么洗 GitHub Issue 刷 SWE-bench Verified，或者怎么囤几百万条 CoT 思维链文本做 SFT；而今天，一线研究员在死磕两个东西：可验证的复杂执行环境（Verifiable Environments），以及能直接变成强化学习奖励信号（RL Reward）的硬验收基准。
变化的原因很简单。公开的静态题库已经不管用了。当各大基座模型在常规 Coding 和单轮问答上集体刷到 90 分以上，甚至在联网评测里为了拿分学会钻服务器漏洞、伪造短链绕过限制时，静态文本数据的边际收益已经趋近于零。大厂现在做后训练，本质上在做一场工业级的找茬。他们把模型关进断网的 Docker 容器、虚拟机镜像或物理仿真器里，让它跑上几小时甚至 20 个小时，用确定性的程序断言、领域仿真器或形式化求解器去撞出它的崩溃边界，再把这些边界变成后训练的养料。
在 DataMining（北京大学计算机学院软件所博士生团队组建，曾服务字节跳动、阿里巴巴等头部科技企业），我们把过去大半年实际跑通、并向各大厂与顶尖实验室交付过的能力，梳理成了这些核心数据集与评测集资产目录。
今天不聊虚无缥缈的概念，直接把这张目录摊开，看看国内外最顶尖的模型都在卷什么基准？这些基准难在哪？我们怎么把它们变成后训练管线里能跑的养料~
01
THE CODE LINE
长程代码与硬核工程
一、长程代码与硬核工程：从「修单文件 Bug」到「20 小时全栈系统优化」
早期代码评测（HumanEval、初代 SWE-bench）本质上是让模型当补丁工，给一个报错上下文，改几行 Python 跑通单测就完事。但 2026 年一线模厂采购代码数据的核心诉求已变成跨多语言仓库的从零构建（NL2Repo）、长周期的工程妥协，以及面向物理与系统指标的连续迭代优化。我们在这条线上常规保持 200 题/周、7 个工作日交付 的产能，覆盖四大前沿基准与方向。
1. Frontier-Eng，考的不是「对不对」，是「能不能逼近工程极限」
它是今年极受头部模厂重视的生成式工程优化基准，包含 47 个任务，横跨计算与量子信息、运筹与决策科学、机器人与控制、光学与通信、物理科学与工程设计五大工科领域，由 Einsia.AI 旗下的 Navers Lab 团队构建并开源。
它对后训练特别有用。传统编程题是非黑即白的，但真实工程是连续优化的。在 Frontier-Eng 里，模型要在固定的交互预算内反复编写并修改可执行代码，扔进领域验证器和物理仿真器里跑，拿到连续的性能评分和可行性约束反馈（比如光路损耗率、控制系统的超调量、运筹调度的耗时），再根据反馈一轮轮迭代方案。
实战效果是这样的。我们按 Frontier-Eng 规格构建并交付的带可执行单测与仿真验证器的数据集，助力 GLM-5 在官方榜单上冲到第三名。
Frontier-Eng 官方总览图：上半部对比搜索/编码基准的二元奖励局限，下半部是生成式优化闭环与 47 任务五大领域构成
2. DeepSWE 与 FrontierSWE：把 Agent 关进 Linux 跑满 20 小时
DeepSWE（Datacurve 提出）包含 113 个从零原创的长周期软件工程任务，分布在 91 个活跃开源仓库和 5 种编程语言（TypeScript、Go、Python、JavaScript、Rust）里，考的是模型在没有人类提示的情况下自主理解大型陌生代码库、设计架构方案并完成交付。参考解从不回流上游，用来避免训练集污染。
FrontierSWE v2（Proximal Labs 提出）更残酷，34 个任务（v1 是 17 个），覆盖系统实现、科学计算、性能优化、视觉推理和 AI 研究五大类。每个 trial 直接给一个完整的 Linux 环境和 20 小时的执行预算，让模型自己写代码、跑实验、看日志、改架构，最后由确定性的自动验证器一锤定音。
DeepSWE 官方 leaderboard：不同模型在 113 个原创任务上的 pass@1 / pass@4 成绩
我们的交付标准是摒弃洗 GitHub 陈年老 Issue，直接从零手搓同水位的原创任务，配套完整的 `F2P（Fail-to-Pass）` 与 `P2P（Pass-to-Pass）` 测试套件、隔离执行环境与参考解（Oracle），全量经过多模型交叉验证与双盲专家复核。拿 GPT-5.6-sol 实测我们的 DeepSWE 类数据，准确率（ACC）比同类供应商低约 15 个百分点，Agent 的推理轨迹被拉长了约 20 轮。这组对比说明这批任务对模型更有挑战性，也逼出了更长的推理过程；训练后能提升更多。
FrontierSWE v2 官方结果榜：不同模型在 34 个长程任务上的平均完成率
3. ALE（Agents' Last Exam），智能体的最后一场考试
它是 UC Berkeley RDI 与 RDI Foundation 共同领衔、联合 300 多位行业专家发起的巨型基准，覆盖 55 个细分行业、归入 13 个产业集群，评估 Agent 在长周期、高商业价值专业任务上的表现。任务量口径各家不同。官网写 1.5K+，arXiv 论文摘要写 1K+，公开仓库里的活跃任务是 122 个。
工程交付壁垒在环境封装。ALE 最大的难点不在出题，而在环境封装。我们在原始数据集基础上做了 L2 级改进，全部由领域专家基于真实合规案例生产，每一道题都封装成标准的 `Harbor Task` 格式，自带独立可启动的 Docker 环境、可执行参考解（Oracle）和独立评分器（Grader），匹配 `ale-cli-bench` 标准，大厂拉过去起容器就能直接跑 RL 训练。
ALE 官方 teaser：中央是任务分类轮盘，环周是各专业的真实任务实例
（代码与安全交叉地带，目录里还储备着从自然语言直接构建完整仓库的 nl2repo，以及面向零日漏洞挖掘、二进制分析、Web 安全与逆向工程的 ExploitBench / CyberBench 攻防沙盒数据。）
02
THE DESKTOP
自动化桌面与跨软件工作流
二、自动化桌面与跨软件工作流：为什么大厂连「虚拟机镜像」都要找我们定做
2026 年下半年是通用 Agent（Computer Use / GUI Agent / 办公 Agent）肉搏最惨烈的赛季。很多团队在训自己的桌面 Agent 或长程工具调用模型时，栽在了最基础的一步：环境脏、状态不可复现、评测没法自动化。
为此，我们不仅交付顶层的跨应用任务，连底层的操作系统底座都做成了标准化产品。
1. Windows 11 / Ubuntu 24.04 标准化虚拟机镜像（OSWorld 类底座）
装个虚拟机谁都会，但模厂愿意花钱采购标准化镜像，因为训练和评测 GUI Agent 对操作系统的确定性要求极度苛刻。普通 Windows 镜像跑着跑着就弹出系统更新、休眠锁屏，或者因为 VMware Tools 抢焦点导致点击坐标漂移；Ubuntu 镜像如果默认跑 Wayland，或者开了 Swap、装了 cloud-init，截图与键鼠注入延迟就会忽高忽低。
我们的工程细节是这样的。单镜像严格控制在 60G（保留至少 20G 可用空间），不分片 VMDK，统一 BIOS 启动。Windows 端优先 Win11 企业版，预置 Administrator 自动登录、永不锁屏、关闭休眠、打好 VirtIO 驱动、剔除 VMware Tools 干扰，并预配好 WinRM 与 SSH 自启动供评测宿主机接管；Ubuntu 端优先 24.04，强制锁定 X11 桌面环境、禁 Swap、去 cloud-init、拔掉自动更新弹窗。每个镜像都配好单元测试，开箱即用。
这条线越来越重要，可以看 OSWorld 的变化。官方 2026 年 6 月发布的 OSWorld 2.0 里有 108 个长程真实工作流任务，论文直接写明，前沿 Agent 在 OSWorld 1.0 上的二值准确率已饱和在 79% 到 83%，在 2.0 上低了一个数量级。
OSWorld 2.0 官方图：一个报销任务的 6 步桌面流程，标注了教程跟随、动态环境、跨源推理、主动交互四类难度
2. Automation Bench 与 Toolathlon：工具十项全能
有了底层环境，上面跑什么任务？今年硅谷最认的是这两个长程工作流基准。
Automation Bench（Zapier 提出）在 47 个模拟的企业级 SaaS 应用上构建任务，公开正式集 600 个（每领域 100 个），另有 200 个 simple 基础任务不计入成绩，官方排行榜跑的是未公开的 657 个保留任务。每个任务启动时都会初始化一个真实的模拟企业数据库与后台状态，要求 Agent 跨系统自主走完业务流（比如从 CRM 捞线索、核对财务账单、再去工单系统改状态），最后不看模型说了什么漂亮话，直接跑程序断言检查数据库和系统的最终状态对不对。
AutomationBench 官方评测流程：任务提示进入 Agent，经搜索/执行工具操作模拟应用状态，最后由确定性断言判分
Toolathlon（The Tool Decathlon，工具十项全能）由香港科技大学 NLP 组主导（ICLR 2026），包含 108 个任务、32 个软件应用、604 个工具接口，官方原文是平均约 20 轮交互。它最狠的地方在于初始环境极其复杂真实，每道题都绑死了专属的执行结果评估脚本。
Toolathlon 论文 Figure 1：两个任务样例，横跨邮件、文件系统、终端、Canvas、Snowflake、PDF 等多个应用
这两条线我们均已实现 200 题/周、双盲专家复核 的复刻与同构扩充交付，专门帮大厂训练 Agent 在几十个工具间来回跳转而不迷路的规划。
3. Harvey LAB：高价值白领长文本的 Rubrics 革命
除了敲代码和点鼠标，以法律、金融、咨询为代表的专业白领长文本工作流怎么训、怎么测？
硅谷法律 AI 公司 Harvey 在 2026 年 5 月 6 日 发布并开源了 Legal Agent Benchmark（LAB）。首发时它覆盖 24 个法律执业领域、1,250 个任务，配套超过 75,000 条执业律师编写的细粒度评分标准（Rubrics）。每个任务模拟律所合伙人向初级律师派活：给你工作指令、案卷材料和交付物要求。
两点需要说清楚。一是材料性质。LAB 的文档是在执业律师指导和审阅下批量合成生成的，真实的是案件类型与执业流程，不是文件原件。二是版本口径。截至 2026 年 10 月，官方仓库已扩展到 2,010 个任务、27 个领域、约 11.4 万条 rubric。
LAB 的评分机制是 all-pass。一条 rubric 不过，整题 0 分，没有部分分。第三方评测方 vals.ai 的榜单上，最强模型的整体 all-pass 约 27%，但逐条准则通过率已到 96%。这个「逐条会做、整体做不完」的反差，恰恰是长程 Agent 最该被测出来的地方。
Harvey LAB 官方架构图：律所工作流与 Agent 编码工作流双轨，末端由专家 Rubrics 判定
我们交付这类长程专业 Agent 数据时，完整复刻了这种「指令 + 复杂案卷 + 极细颗粒度专家 Rubrics」的评价流程，让原本主观性极强的文书生成，变成一条条可量化、可打分的客观准则。
03
THE SCIENCE
多模态与基础学科天花板
三、严苛多模态与基础学科天花板：在 Seed-2.1-Pro 上直接提点 5.3% 的 HLE 生产线
2025 年初，CAIS（Center for AI Safety）与 Scale AI 联合推出 HLE（Humanity's Last Exam，人类的最后一场考试），用全球顶尖学者命制的超难题目考倒所有大模型。2025 年 4 月定稿 2,500 道题，其中约 14% 需要同时理解文字和图像，24% 是选择题，其余是精确匹配短答。
到了 2026 年下半年，纯文本的学术题已经不够看了。CAIS 自己在 2026 年 9 月推出 HLE-Diamond（1,000 题子集）时，给的理由很直白。前沿模型开始在原始 HLE 上撞到噪声天花板。同一批题，GPT-6 Astra 不带工具 59.9%，带上 web 和 code 工具冲到 82.9%。拉开差距的是工具和检索，不是知识本身。
HLE-Diamond 官方主结果：GPT-6 Astra 59.9%、Gemini 4 Argon 56.9%、Claude Opus 5.5 54.6%
很多多模态数据集是假多模态，图片只是摆设，模型光读题干就能蒙对答案。在我们的 HLE-Math、HLE-Physics、HLE-Chemistry 三条 L3 级生产线上，有两条死规矩。
第一条，竞赛教练全新命制加严格多模态绑定。 所有基础母题均由奥赛金牌教练团队全新手搓，题目里的几何拓扑图、物理受力分析图、有机反应机理图与选项图片是解题的必要条件，看不懂图中的空间与符号细节，神仙也算不出答案。在此基础上搭建了自动化变体扩充与验证管线，现成储备 Math 2000 题、Physics 2000 题、Chemistry 1000 题。
第二条，形式化求解器硬核质检。 前沿数理题的标准答案怎么保证不出错？靠研究生肉眼检查必翻车。我们的质检管线直接引入 Z3 定理证明器与 SymPy 符号计算验证，配合多模型 Pass@4 交叉碰撞（交付字段附带完整的四轮模型对话轨迹与判定分析）和双盲专家复核。
这批数据不是花架子。在内部对照评测口径下，用我们的 HLE 产线数据后，Seed-2.1-pro-0915 在 HLE-Physics 上准确率（ACC）提升 5.3 个百分点，在 HLE-Math 上提升 4.6 个百分点，在 HLE-Chemistry 上提升 2.7 个百分点。
04
THE ROBOT
具身智能真机数据
四、具身智能（Embodied AI）真机定制：从像素级感知到 DAgger 绝境纠错
目录里的最后四大块拼图，是直接落到机器人本体上的真机具身数据线，全部以 45 个工作日、整套买断模式向国内头部具身厂商与顶尖高校实验室交付。
1. 300k 帧真机 BBox / Mask 标注（双盲专家复核） ：针对机械臂抓取最后 1 厘米的自遮挡与反光问题，两位专家背靠背独立标注，IoU 不一致直接拦截，根除像素漂移导致的抓空点。
2. 30k 条真机具身 Grounding QA ：把混沌的真机裸轨迹，显式对齐成一串问答链，逐项对应「2D 投影坐标 + BBox 投影坐标 + 场景 Caption + 本体感知（Proprioception）+ 运动感知」，治好 VLM 改 VLA 时的空间失明。
3. 1M 条具身导航多模态 SFT 数据 ：百万级规模、全量多模型交叉验证，喂出导航大模型在复杂三维空间里的走位与空间位姿感知能力。
4. 800k 条具身导航 DAgger 后训练数据 ：针对模仿学习遇到扰动偏离轨迹就撞墙死循环的复合误差问题，大规模构造从偏航状态救回正轨的专家纠错轨迹（Recovery Trajectories），补齐上机前最后一块鲁棒性拼图。
写在最后：2026 年，数据公司的核心壁垒到底是什么
看完这 16 条交付目录，你就明白为什么传统的「人力众包标注公司」正在被时代淘汰。
在 2026 年，生产一条合格的后训练数据，本质上是一道复杂的系统工程题。
做 ALE、DeepSWE、FrontierSWE，你得懂 Docker 容器编排、Harbor Task 封装和 F2P/P2P 测试开发。
做 Frontier-Eng，你得懂量子、光学、控制论的仿真器与连续评分函数。
做 HLE 数理，你得有竞赛教练的命题脑子，还得会写 Z3 和 SymPy 的形式化校验脚本。
做 GUI Agent 和具身智能，你得连操作系统的内核驱动、X11 与 WinRM 配置、机器人的本体坐标变换和 DAgger 纠错机制都摸得门儿清。
没有顶尖的工程研发能力，现在连给大模型出题和改卷的资格都没有。
在 DataMining，我们把这 16 条能力线全部打磨成了标准化、可复现的工业管线。
现货秒发：HLE 数理（5000+ 题储备）、Frontier-Eng、DeepSWE、FrontierSWE 等成熟产线，3 到 7 个工作日按条计费交付。
敏捷定制：ALE 独立 Docker 环境、Automation Bench、Toolathlon、Harvey LAB 与 Windows/Ubuntu 标准化镜像，具备 200 题/周 的稳定扩充产能。
真机买断：具身智能全链路（Grounding / SFT / DAgger）支持基于客户自有真机数据的整套买断定制。
无论你是大厂的模型后训练团队、正在搭建内部密封评测沙盒的 Infra 团队，还是急需高质量真机数据突破瓶颈的具身实验室，欢迎对着这份目录来聊 Demo 样例包与数据字典。虚拟机镜像和部分任务样例支持签署 NDA 后提供。
先跑通DEMO，再谈批量合作。
关于 DataMining
北京大学计算机学院软件所博士生团队组建，专注为大模型与智能体研发提供高质量原创任务数据与可执行评测环境，曾深度服务字节跳动、阿里巴巴、腾讯等头部科技企业。
商务对接与样例申请：公众号后台私信。
END
浙公网安备 33010602011771号