SkillEvaluator 拆解:给 Agent 技能做质检,量化技能到底有没有用
SkillEvaluator 拆解:给 Agent 技能做质检,量化技能到底有没有用
技能装得越多,Agent 就越强吗?这工具专门来拆台。
Agent 技能(skill)正在变成新的依赖包:团队从各处下载技能目录,往 .claude/skills、.agents/skills 里一丢,数量涨得很快,却没人能回答两个问题:这些技能写得合不合格?装上之后任务成功率到底涨了多少?NVIDIA 在 2026 年 6 月 24 日开源的 NVIDIA/SkillEvaluator 就是冲着这两个问题来的,Python 写的,Apache-2.0,到 11 月 16 日有 2,282 星、296 个 fork、17 个未关闭 issue,PyPI 包名 skillevaluator,最新版 0.9.0,一共发了 6 个版本。仓库 1,255 个树条目里,tests/ 下有 594 个文件,src/ 下是 394 个,测试比源码还重。
它还配了一篇 arXiv 论文(2608.20614,8 月 20 日提交),里面有个对囤技能团队不太友好的数字:静态扫描分数和 LLM 评判分数的 Spearman 相关系数只有 0.14。意思是技能目录写得规不规范,和它能不能帮 Agent 干活,基本是两回事。这篇按四件套走:是什么、怎么用、值得学什么、同类怎么选。
本文提纲
- 是什么:技能的 CI,不是 Agent 的跑分器
- 怎么用:三条入口和三层评测
- 值得学什么:四个机制设计
- 同类比较:SkillSpector、Harbor 与人工评审怎么选
是什么:技能的 CI,不是 Agent 的跑分器
一句话定位:SkillEvaluator 是一个给 Agent Skills 规范下的技能目录做质量门禁和收益测量的 CLI 工具,属于 NVIDIA Verified Skills 流水线的开源部分。它评测的对象是技能这个"工件",不是 Agent 本身,也不是模型。
明确几个非目标。它不替你写技能,不运行你的业务代码做安全审计(安全扫描委托给专门的 SkillSpector),也不是一个托管平台,所有报告落在你本地的 reports/ 目录里。README 标注的支持级别是 Experimental,社区支持、尽力而为、没有 SLA 也没有 NVIDIA 企业支持,这点要先看清,别把它当成 GA 产品接进关键流程。
它的核心设计是三层流水线,每层回答一个不同的问题,且互相独立:
MERMAID_BLOCK_0
- Tier 1 Validation:技能安全吗、格式对吗、和各家 harness 兼容吗?
- Tier 2 Deduplication:技能内部有没有重复指令、技能之间有没有语义重叠?
- Tier 3 Live Evaluation:装了这个技能,Agent 做任务是变好还是变差?
论文把这套方法命名为 ACES(Agentic Continuous Evaluation of Skills),关键产物是一个叫 Skill Lift 的指标:同一批任务、同一个模型、同一个沙箱、同一个评分器,跑两遍 Agent,一遍装技能一遍不装,两个分数的有符号差值就是技能的净贡献。整个实验里唯一的变量是技能本身。
怎么用:三条入口和三层评测
三条入口,同一个 CLI
README 给了三条路,门槛从低到高。
第一条,直接装 CLI 跑静态检查,不需要 API key:
pip install skillevaluator
skillevaluator validate ./my-skill --tiers 1
用 uv 的话是 uv tool install skillevaluator。仓库自带一个 text-analyzer 参考技能,官方文档里它的无 LLM 质量评分是 88.8/100(B 级),默认通过线是 70 分。
第二条,接进仓库 CI:
skillevaluator ci init
这条命令会开一个 setup PR,把工作流文件写到 .github/workflows/,GitLab 也有对应适配器。CI 的默认行为很克制:PR 触发时只检查本次变更涉及的技能(scan-mode: auto),push 和手动运行才扫全量;单次最多配 100 个技能目录,默认 4 个技能并行扫。没有技能变更时任务直接成功,输出 "No skills changed",不会为了刷存在感跑一遍全量。
第三条,把它自己当成技能装进 Agent:
npx skills add NVIDIA/SkillEvaluator
装完在 Claude Code 或 Codex 里问一句"Is my skill any good?",它就会在对话里调用第一条路的 CLI。仓库自己的技能就放在 skills/skillevaluator/,附带 8 个 references 文档和一套 evals,属于自己评自己的 dogfooding 布局。
Tier 1:不接模型也能出分的静态门禁
Tier 1 默认跑九项检查:schema、version、security、pii、license、code-integrity、unicode、quality、lint,dependency 审计需要显式开启。这里面分两种性质的检查。
纯确定性、不需要 key 的是主力。quality-check 给技能打 0–100 的综合分,四个加权类目:
| 类目 | 权重 | 评什么 |
|---|---|---|
| Correctness | 35% | frontmatter、命名、示例、路径、技能结构 |
| Discoverability | 25% | 描述质量、触发措辞、目的与范围、命名 |
| Reliability | 25% | 错误处理、前置条件、限制说明、排障文档 |
| Efficiency | 15% | token 预算估算、正文长度、重复度、引用使用 |
每个类目从 100 分起扣,按触发的 finding 扣固定分数。评级 A≥90、B≥80、C≥70、D≥60、F<60,默认 --min-score 70,而且这条分数线是独立门禁:策略里的严重级别覆盖抹不掉它,整个技能集合的平均分也救不回单个不及格的技能。
检查细到什么程度,举几个有信息量的规则:技能名必须 kebab-case、1–64 字符,且不许出现 anthropic 和 claude 这两个保留词;目录名必须和 frontmatter 里的 name 一致;描述前 60 个字符里没有 "Use when..." 式触发语会给一个 LOW finding;SKILL.md 超过 500 行给建议项;frontmatter 里没加引号的 yes、null、2026-01-01 这类会被 YAML 解析成布尔/空值/日期的值直接报 HIGH。还有一个 harness 兼容检查,静态对照 claude-code、codex、copilot-cli、hermes、openclaw、opencode 六家加载器的真实行为,比如 Copilot CLI 的 1,024 UTF-16 单元描述上限、Codex 读 SKILL.md 约 10K token 的截断点,都会量化成 finding。
需要模型的检查是可选项。rubric-eval 用九条标准做 LLM-as-a-judge,每条 0–10 分,本地评判器把 7 分当及格,要求加权均分过线且每条都及格,任何一条挂了整体都不过。安全扫描走 NVIDIA 另一个开源项目 SkillSpector,配合 Gitleaks,Semgrep 可选;--llm-verify 会让模型对静态 finding 二次复核,高置信误报降级成 INFO 但保留可见。注意 --no-llm 不等于不需要扫描器,扫描器跑不起来的结果是 INCOMPLETE 加非零退出,不会悄悄变绿。
退出码语义也适合直接挂 CI:0 全过,1 检查失败或证据不完整,2 是命令用法错误。
Tier 2:embedding 聚类抓重复,但让 LLM 来定性
技能写厚了有两种重复:自己抄自己,和跟别的技能撞车。Tier 2 用两个命令分别处理。
技能内部去重 context-optimization-check 分两阶段:先把 Markdown 按标题切块(超 3,000 字符再切)、Python 取 docstring 和函数签名、shell 取函数体和连续注释,批量做 embedding,余弦相似度达到 0.80 阈值的块用 Union-Find 聚成候选簇;然后把候选簇的原文发给 chat LLM 定性,输出三种裁决:DUPLICATE(真重复,该合并)、INTENTIONAL_DETAIL(概述与详述,属于 progressive disclosure,保留)、RELATED_BUT_DISTINCT(同主题不同目的,保留)。置信度 ≥0.70 的 DUPLICATE 才是 HIGH 阻断项。这个设计承认了一件事:embedding 相似度只能发现"长得像",是不是冗余需要语义判断,所以 SKILL.md 里的概述和 references 里的详解不会被误杀。
技能之间去重 similarity-check 更省,只调 embedding 不调 chat LLM,默认只 embed 每个技能的名字和描述,按余弦分数分五档:≥0.95 是 EXACT_DUPLICATE(CRITICAL 阻断),≥0.90 是 HIGH_SIMILARITY(HIGH 阻断),≥0.75 是 SIMILAR,≥0.50 是 LOOSELY_RELATED,再低不报。也可以加 --catalog 把候选技能跟一份版本化的本地目录比,适合发版前把关。
Tier 3:在 Harbor 沙箱里跑 A/B,算出 Skill Lift
前两层回答的都是"技能写得怎么样",Tier 3 才回答"技能有没有用"。它在 Harbor 沙箱里启动真实 Agent(支持 codex、claude-code、opencode),同一批 eval case 跑两条臂:装技能的 with-skill arm 和不装的 baseline arm,默认两个臂都跑,加 --skip-baseline 可以省掉一半试验量,但那样的结果拿不到 Skill Lift。
评分默认给五个维度:Security(安不安全)、Correctness(该做的做没做)、Discoverability(该触发的时候有没有被加载)、Effectiveness(装了是不是更好)、Efficiency(路由和工具用得是否高效),论文摘要里说默认运行时指标是六个。多次尝试用 pass@k 补一个可靠性信号。还有一个防自欺的设计:如果所有正向用例里技能一次都没被激活,结果直接标 INCONCLUSIVE: skill never activated,不输出 lift 比较,激活失败本身作为 skill_execution 零分暴露出来。
成本要提前算。文档给的试验量公式是 eval cases × agents × attempts × arms,标准对比是两个臂,每个试验内部还有若干次模型请求,评分器本身也要调模型,所以 SkillEvaluator 不给固定美元报价,只给控制手段:迭代数据集时用 --skip-baseline 砍半、--max-cases N 先小跑、--stop-on-pass 通过即停。想省沙箱钱可以 --env-mode local 跑在本机,但文档明说 local 模式是实验性的、隔离性弱于 Docker,只能用于可信技能。
还有个高阶命令 tier3 interact,测多个技能组合在一起是 1+1>2 还是互相打架。两个技能 A、B 的交互公式是 I(A,B) = P(A,B) - P(A) - P(B) + P(empty),正值代表超加性、负值代表内耗。文档同时坦白这个数字没有置信区间和显著性检验:10 个二值用例、单次尝试时,一个结果翻转就能让交互值变动 0.10,所以小数字别当真,重跑一遍再下结论。
值得学什么:四个机制设计
第一,把"确定性"和"模型判断"严格分层,而且默认不要钱。 静态检查完全 hermetic:同一输入同一退出码,不联网、不要 key、不要 GPU,装齐 gitleaks、Semgrep、SkillSpector 后整台机器不出网就能跑。LLM 只出现在两个明确位置:rubric 复核和 Tier 2 的定性裁决,而且都是可选增强,模型不可用时流程报 INCOMPLETE 而不是默默放行。对想在 CI 里白嫖一道门禁的团队,这个分层可以直接抄。
第二,门禁语义按证据强度分级,不搞一刀切。 Tier 1 永远卡退出码;Tier 2 默认卡但可以 --no-block-on-dedup 降级成建议;Tier 3 默认只建议,显式加 --block-on-agent-eval 才提升为门禁。这个排序对应证据的可靠程度:静态规则最硬,embedding 相似次之,活体实验方差最大所以默认不拦。反过来,最低分数线这种确定性门禁则不允许被策略覆盖和平均分稀释,哪里该硬哪里该软,界限划得很清楚。
第三,评测的实验纪律比指标本身更值钱。 Skill Lift 的定义锁死了模型、沙箱、工作区、评分器,只留技能一个变量;baseline 不会因为没装技能而被奖或被罚;负向用例(不该触发技能的场景)是一等公民,激活证据缺失就判 INCONCLUSIVE。论文里 947 个配对 case 来自 64 个生产技能中的 58 个,综合 Skill Lift 均值 0.2134(95% 置信区间 [0.1967, 0.2301]),只看任务结果的 lift 均值 0.1799,72.8% 的配对 case 为正。注意反面:按 100% 减 72.8% 推算(我算的),超过四分之一的 case 里技能没带来正向收益,这正是"技能可能是负担"的量化证据,也是这个工具存在的理由。
第四,对自己测量手段的局限性异常诚实。 论文直接给出静态扫描与 LLM 评判的 Spearman ρ=0.14,说明文档规范分和实际 usefulness 几乎不相关,静态门禁替代不了活体评测;145 个真实技能的样本里结构类检查只发现"写作问题",发现不了路由、触发、工具使用这些运行时行为。文档里 token 估算明确写着"字符数除以 4,通常偏低",交互实验明确写着"无显著性检验,小值可能是噪声"。一个评测工具把自己的失效边界写得比功能还细,这种诚实本身就是可信度来源。
同类比较:SkillSpector、Harbor 与人工评审怎么选
先声明口径:这个细分领域没有统一 benchmark,下面只比定位和适用场景,不编准确率。
| 维度 | SkillEvaluator | SkillSpector | Harbor | 人工评审 |
|---|---|---|---|---|
| 定位 | 技能全生命周期质检 + 收益测量 | 技能安全扫描器 | Agent 评测沙箱框架 | 团队内部 review |
| 评测对象 | 技能目录(静态+活体) | 技能里的攻击面与泄露 | Agent 任务表现 | 技能文档与脚本 |
| 需要模型 | Tier 1/2 可完全离线 | 可选 LLM 复核 | 需要,跑真实 Agent | 人本身 |
| 量化收益 | 有,Skill Lift/A-B 对比 | 无 | 有任务分,但无技能身份概念 | 主观 |
| 产出 | 0–100 分 + 五维报告 + SARIF | 安全 finding | 任务轨迹与分数 | review 意见 |
逐个说分工。SkillSpector 是 SkillEvaluator 手里的一个零件,NVIDIA 自己的项目,专门做技能的 prompt injection、数据外泄、hook payload 这类安全模式匹配;它回答"这个技能有没有恶意模式",回答不了"装了有没有用"。两者是嵌套关系不是竞争关系。
Harbor 是 Tier 3 的底层运行时,Terminal-Bench 等行业基准也跑在它上面。Harbor 给你沙箱、任务和轨迹评分,但"技能"在它眼里不是一个有身份的被测物;SkillEvaluator 在 Harbor 之上补了配对实验、激活校验和 Skill Lift 这套协议(论文里轨迹归一化格式叫 ATIF)。已经在用 Harbor 的团队,接 Tier 3 的边际成本最低。
通用 lint 和人工评审覆盖的是 Tier 1 的一部分:schema、命名、文档质量可以靠人过一遍,但跨六个 harness 的兼容规则库、embedding 去重和活体 A/B 都不是人肉能规模化的,100 个技能的集合做一次 similarity-check 的工作量,人工评审扛不住。
选型上我的判断:已经在囤技能包、技能数量超过十个的团队,Tier 1 接 CI 是立刻该做的,零模型成本、只卡变更,性价比最高;Tier 2 在技能数超过几十个、开始出现职责重叠时再上;Tier 3 留给要对外发布或进 Verified Skills 目录的技能,因为它真金白银烧模型额度,而且当前支持级别是 Experimental,结果适合当发布证据,不适合当无人值守的自动门禁(默认配置也确实只是 advisory)。个人开发者写一两个技能,validate --tiers 1 跑一遍看 finding 就够了,不必碰沙箱。
参考文档与链接
- GitHub: NVIDIA/SkillEvaluator — 主仓库,Apache-2.0,Python,2,282 星 / 296 fork(2026-11-16 GitHub API 快照)
- arXiv 2608.20614:Evaluating Skills, Not Just Agents — ACES 框架、ATIF、Skill Lift 定义与 145 个技能、947 个配对 case 的实测数据
- 论文 DOI — 引用信息
- 官方文档 — 三层评测、报告格式与 CLI 参考
- 安装指南 — extras 选择与扫描器版本要求
- 仓库 CI 集成指南 — GitHub Actions 与 GitLab 适配器
- Agent 接入指南 — 装进 Claude Code / Codex 的用法
- PyPI: skillevaluator — 0.9.0,要求 Python ≥3.12、<3.15
- NVIDIA SkillSpector — Tier 1 调用的技能安全扫描器
- Harbor 框架 — Tier 3 活体评测的沙箱运行时
- Agent Skills 规范 — 技能目录结构的上游规范
- NVIDIA Verified Skills 流水线 — SkillEvaluator 所属的技能认证体系
- NVIDIA Developer Blog 介绍文 — 官方设计背景与用法演示
你的技能目录现在有多少个?有没有哪个装了之后任务反而变差的?评论区聊聊。觉得有用点个赞。
作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/
关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top
本文首发于 AI人工智能时代,转载请注明出处。

浙公网安备 33010602011771号