榜单第一却调用不了：从 Gemini 4 Carbon 的对比表聊聊怎么看模型评测

10 月 28 日谷歌发布了 Gemini 4 Carbon，在 Artificial Analysis Intelligence Index v5.0 上拿了 59 分，排第一。不过目前只开放给网络安全防御方和少数合作机构，普通开发者还调用不了。

既然没法自己测，我就把官方对比表当成一个例子，记一下自己平时做模型选型时看榜单的几个习惯。

一、综合分差一两分，当作同一档

Claude Opus 5.5 是 58，GPT-6 Astra 是 57。综合指数是很多任务的平均，差一分基本说明不了谁更适合你的项目，换一批题顺序就可能变。

二、先找"第一名输掉的项"

谷歌自己的表里就有：

• OSWorld-2.1（电脑操作）：Opus 5.5 87.2%，Carbon 81.5%
• FrontierSWE 2（智能体编程）：GPT-6 Astra 65.5%，Carbon 61.2%

如果你做的是操作电脑的 Agent 或者编程 Agent，这个"第一"对你并不是第一。

三、看它特别突出的项，往往能解释发布策略

Carbon 拉开差距的是安全方向：SEC-bench Pro 找漏洞 88.2%，ExploitGym 写利用 54.8%（Astra 42.4%，Opus 34.5%），CWE-bench 修漏洞 71%。公告里写明这些是在不开护栏的情况下测的。

找漏洞和写利用是同一种能力，谁拿到都能用。所以它先给防守方，再通过 Fairwind 计划慢慢放给更多机构，这个逻辑我是认的。

四、最后确认能不能调用

价格已经公布了（每百万 token 输入 2 美元、输出 10 美元，和 Argon 一样），但开发者开放时间没给。调用不了的模型，排名再高也进不了选型名单。

小结

我这周用的模型和上周一样，没什么要改的。等 Carbon 开放了，我会拿自己手上那几个固定任务（几个重构、一个日志解析脚本、一篇长文档总结）跑一遍再说。

大家选模型的时候，是更信公开榜单，还是自己维护一套测试集？