Kaggle Gemma 4 Developer Agent 拆解:这题是啥,怎么解
Kaggle Gemma 4 Developer Agent 拆解:这题是啥,怎么解
给模型一个真实 Python 仓库和一个真实 issue,它得自己翻代码、自己改、自己跑测试,全程没有网络,用一块显存受限的显卡在几分钟内交卷。这就是 Google DeepMind 正在 Kaggle 上出的一道题。
Kaggle 上有个正在进行的比赛 Google - The Gemma 4 Developer Agent Competition,Google DeepMind 主办,Featured 级别,总奖金 10 万美元。任务一句话说完:把 Gemma 4 post-train 成一个自主 SWE agent,让它导航真实仓库、修真实 Python issue、过验证测试。预测轨报名 2026 年 11 月 25 日截止,最终提交 12 月 2 日截止,到我查的 11 月 18 日已经有 10,270 人报名、2,718 人实际提交过、累计 11,215 次提交。这篇拆两件事:这题是啥,怎么解。
按四件套走:是什么、怎么解、值得学什么、同类怎么比。
本文提纲
- 是什么:赛题、评测、时间线、奖金和限制条件
- 怎么解:提交结构、12 小时怎么花、9 个工具、训练数据、策略方向
- 值得学什么:代码图工具、声明式 agent 配置、两阶段测试验证
- 同类比较:SWE-Bench 系列与 Kaggle 其他 LLM 赛
是什么:这题到底是啥
题目形式是 SWE-Bench 式的:给 agent 一个冻结在 base_commit 的真实 Python 仓库,外加一个真实 issue 的文字描述,agent 要在沙箱里定位问题、改代码,最后交出补丁。评测只看一件事:验证测试过没过。得分是通过验证测试的仓库百分比,一道题 PASS 或 FAIL,没有部分分。
听起来像 SWE-Bench,但约束比一般基准狠得多:
| 约束 | 具体规定 |
|---|---|
| 基座模型 | 只能用 gemma-4-31b-it-qat-w4a16-ct 这一个基座,量化到 4-bit 权重 |
| 改进方式 | 允许多套 PEFT LoRA,每个 agent 可以挂不同 adapter |
| 硬件 | 4 块 L4,共 96GB 显存,配额是普通 Notebook 的 2 倍 |
| 网络 | 沙箱禁网,依赖全靠预装的离线 wheel |
| 时间 | 所有任务共享 12 小时(含 sandbox setup),可用 eval_config.yaml 给单任务设上限 |
时间线:比赛 2026 年 9 月 23 日开赛;预测轨报名 11 月 25 日截止、最终提交 12 月 2 日截止;论文轨投稿 11 月 12 日已经截止,主题限定 PEFT/RL、代码图生成解析与嵌入、任务与基准、图推理四个方向。奖金分两条轨:预测轨 65,000 美元(37k/18k/10k 给前三名),论文轨 35,000 美元。
一句话总结这道题的定位:它不是比谁的 prompt 写得花,而是比谁能把一个 31B 量化模型,用有限的微调和工程手段,推到能稳定修 bug 的水平。
怎么解:从提交结构到策略
提交长什么样
提交物是一个 submission.zip,根目录必须有 agent.yaml,走 Google ADK 的 Agent Config 规范,纯声明式 YAML。整个包大致长这样:
submission.zip
├── agent.yaml # ADK Agent Config,入口
├── configs/ # 模型与评测配置
├── prompts/ # 系统提示词
├── sub_agents/ # 子 agent 定义(委派用)
├── adapters/ # LoRA adapter 权重
└── skills/ # SKILL.md + scripts + resources
评测跑完产出 submission.parquet,每行一个任务 id 加 prediction 字段,内容是补丁或者 NO_PATCH。
12 小时怎么花
测试集约 120 个任务,公开和私有大对半,全部任务共享 12 小时。粗算一下(我算的):12 小时除以 120 题,平均每题 6 分钟,这还包括每题的 sandbox setup 时间。6 分钟对一个人类工程师来说连仓库都 clone 不完,所以预算管理是这道题明面上的考点:get_status 工具就是给你看剩余时间用的,eval_config.yaml 允许给单任务设上限,防止一个死题吃光全局预算。
9 个工具怎么用
沙箱里预置了 9 个工具,分三类:
| 类别 | 工具 | 说明 |
|---|---|---|
| 执行 | run_command | 在沙箱里跑 shell 命令,跑测试全靠它 |
| 执行 | submit_patch | 提交补丁,等价于 git add -N . 加 git diff HEAD |
| 执行 | get_status | 查任务状态和剩余时间 |
| 文件 | read_file / edit_file / write_file | 文件读写三件套 |
| 代码图 | get_code_neighbors | 查某个函数的调用与被调用邻居 |
| 代码图 | search_similar_code | 用预计算 embeddings 做余弦相似搜索 |
| 代码图 | get_code_subgraph | 拉出一段调用/依赖子图 |
三个图工具是这道题最有意思的设计。比赛方把每个仓库的 AST 调用图和依赖图预计算成了 NetworkX JSON(节点带完整源码,边带类型比如 calls),又给每个节点算了 256 维 float32 向量。agent 不用自己 grep 全仓库,一次图查询就能拿到"这个函数被谁调、它调了谁"。在 6 分钟一题的预算下,这类结构化检索比全文搜索省时间也省 token。沙箱禁止路径穿越,工具只能在允许的工作区里活动。
训练数据怎么来、怎么用
Data 页给了 129 个公开训练任务,Apache 2.0 协议,来自四个知名仓库:fastapi、rich、requests、httpx。tasks.jsonl 每行一个任务,字段包括 instance_id、repo、base_commit、problem_statement、hints_text、patch、test_patch。
数据的生产管线值得看一眼:先从 commit 和 PR 里挖任务,关联 issue,过滤去噪,然后做两阶段执行验证。Fail-to-Pass 阶段要求参考补丁所修的测试在 base_commit 上必须失败;Pass-to-Pass 阶段要求打上参考补丁后全仓库测试保持绿色。两道关都过,这题才算数。私有问题里也按同样的标准筛,准入线是 frontier model 接近能通过。
拿到这 129 题之后,你可以本地搭好沙箱跑评测:数据包里带了 docker 目录(Python 3.13 加 git 加 pytest,还垫了 imp.py 和 telnetlib.py 的兼容 shim)、124 个离线 wheel(挂载到 /wheels/)、每个仓库冻结在 base_commit 的快照,以及一份 55.94 kB 的 HARNESS_README.md,把两容器生命周期、工具签名、context compaction、本地 CLI 评测全讲了一遍。sample_submission 是个完整的 baseline 提交,声明式 YAML 加多 agent 委派加多 LoRA 路由,直接拆开看就是官方给出的解题模板。
策略往哪个方向打
几个明确有收益的方向,按确定性排序:
MERMAID_BLOCK_0
第一,用图工具替 agent 认路。 baseline 的套路是 agent 先用三个图工具建立定位,再动手改文件。129 个公开任务的 graphs 和 embeddings 就是照着这个用法发的,提示词里把"先查图再改代码"写成硬规则,比指望模型自己想到要查图可靠。
第二,多 agent 委派加 LoRA 路由。 规则允许每个 agent 挂不同 adapter,官方 baseline 就示范了这种结构:主 agent 读 issue 后委派给子 agent,不同子 agent 走不同 LoRA。合理猜测的分工是一个 adapter 专管定位、一个专管改码、一个专管跑测试修测试,用 129 个公开任务分别训练再路由。
第三,把经验写进 skills。 submission 结构里的 skills 目录支持 SKILL.md 加脚本加资源,等于允许你把"这类仓库测试要这么跑""这个错误一般是哪个文件"之类的仓库经验固化成可复用资产,agent 按需加载。这比把所有经验塞进系统提示词省 token。
第四,context compaction 和预算纪律。 harness 自带 context compaction,长会话自动压缩历史;get_status 查剩余时间应该成为 agent 的固定动作,快超时就交现有补丁,NO_PATCH 和交了个过不了测试的补丁得分一样是零,所以"有半个补丁也交上去碰运气"不成立,交之前至少跑一遍目标测试。
第五,本地验证闭环。 129 个公开任务加本地 harness,意味着你可以在提交前完整模拟评测,连 12 小时总预算都能本地掐表。数据里给了 hints_text 和参考 patch,训练 LoRA 时有监督信号,这是很多 Kaggle LLM 赛都不给的待遇。
值得学什么
代码图加嵌入这套检索基建,出了赛场也好用。 把仓库 AST 预计算成图、节点挂向量、agent 用邻居查询和相似搜索代替全文扫描,这个设计在 96GB 显存禁网的环境里是刚需,放到日常大仓库的 coding agent 上同样是省 token 利器。上一轮聊过的微软 TokenEconomizer 是从会话历史里学经验,这道题的图工具是从代码结构里查事实,两者补的是不同位置的钱包。
Fail-to-Pass 加 Pass-to-Pass 的两阶段验证,是自建评测集的标准答案。 只要求"打了补丁测试变绿"的基准会被乱改一气的补丁骗过,必须先证明"不打补丁测试是红的",再证明"其他测试没被改坏"。自己给团队项目建回归集时,这两道关缺一不可。
声明式 agent 配置是官方给的方向标。 agent.yaml 规定了 agent、子 agent、adapter、skills 全部用 YAML 声明,而不是 Python 代码。Google 明显在推 ADK 这种配置化范式,参赛等于提前适应下一代 agent 工程的交付形态。
硬件天花板下的微调路线值得参照。 4-bit 量化基座加多 LoRA 的组合,意思是"别想全参微调,把 31B 模型的行为差异全部塞进几组小 adapter"。这个约束在端侧部署场景里天天遇到,比赛给的 129 题加参考补丁,正好是一套现成的 LoRA 训练素材。
同类比较
| 赛事 | 考什么 | 和这道题的差别 |
|---|---|---|
| SWE-Bench / SWE-bench Verified | 模型修真实 issue 的通过率 | 纯基准无奖金无时间预算限制,模型不限 |
| SWE-agent、OpenHands 等框架赛 | agent 框架工程能力 | 通常不限基座模型,无 LoRA 约束 |
| Kaggle AI Mathematical Olympiad 等 LLM 赛 | 推理与答案准确性 | 无环境交互,不考工具使用 |
| 本题 | 限定基座的 post-train 加 agent 工程 | 基座锁死,比的是微调加工程加预算管理 |
选型判断:如果你手上有 31B 级量化模型的微调经验和算力,这是少数能把 LoRA 工作直接变现的比赛;如果你更擅长 prompt 和框架工程,论文轨虽已截稿,预测轨里 skills 和多 agent 结构照样是主战场;如果你只想白嫖一套高质量 SWE 训练数据,129 个两阶段验证过的任务加代码图加嵌入,Apache 2.0 协议随便拿去训自己的模型,不用参赛。
丑话说在前面:129 个公开任务全部来自四个"模型很熟"的明星仓库,fastapi 和 requests 的代码在预训练语料里出现过无数遍,私有测试集会不会换一批冷门仓库、模型还能不能泛化,是这道题最大的不确定项。另外 6 分钟一题是我拿 12 小时除以约 120 题算的均值,官方没承诺单题限时,实际的 setup 开销和题目难度分布只有跑了才知道。
参考文档与链接
- 赛题主页:Google - The Gemma 4 Developer Agent Competition — Overview、Rules、Leaderboard
- 数据页:Competition Data — 129 个训练任务、graphs、embeddings、HARNESS_README.md
- 基座模型:
gemma-4-31b-it-qat-w4a16-ct,Kaggle Models 上的 Google Gemma 4 发布 - 延伸阅读:微软 TokenEconomizer:不换模型不换 agent,token 开销降三成 — 本站同日文章,coding agent 省钱的另一条路
你会怎么切这 12 小时?定位和改码该不该拆成两个 LoRA?评论区聊聊你的打法。觉得有用点个赞。
作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/
关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top

浙公网安备 33010602011771号