Skills进阶
Skills、Tools、MCP 与 Subagents 完全指南
目录
核心概念
MCP
全称：Model Context Protocol（模型上下文协议）
定义：AI "插件化"的标准协议，定义统一的请求/响应格式，让 AI 能够链接各种按照此协议开发的接口（数据库、API、文件系统等）。
大白话：MCP 是 AI 和外部世界对话的"通用语言"——就像 USB 接口标准，任何设备插上就能用。
Tools
定义：可以调用的具体功能函数，就像工具箱里的锤子、螺丝刀。
特点：
- 有明确的名字和参数
- 执行一个具体动作（查数据、发消息、截图）
- 有输入和输出
示例：
feishu_doc read doc_token="xxx"
wecom_mcp call contact getContact '{}'
agent-browser click selector="#submit"
Skills
定义：能力模块，提供一组相关的 Tools 集合。
特点：
- 描述什么时候触发（trigger condition）
- 包含具体的操作指南（Markdown）
- 可以引用外部资源（scripts/、references/、assets/）
示例技能：
feishu-doc：读写飞书文档agent-browser：浏览器自动化skill-creator：创建和优化技能
Subagents
定义：主 AI 派出去的"小助手团队"，独立干活，干完回来汇报。
为什么需要：
- 任务复杂，主 AI 一个人忙不过来
- 需要并行处理，加快速度
- 某些任务需要专门技能
关键点：
- Subagent 是独立运行的 AI，有自己的思考能力
- Subagent 也有自己的 Skills/Tools/MCP 能力（可以不同）
- 主 AI 只负责分派和汇总，不干涉具体执行
协作流程
用户任务
↓
主agent接收任务
↓
主agent分析：是否需要分派Subagents？
├─ 否 → 主agent直接使用自己的Skills/Tools/MCP完成
└─ 是 → spawn Subagent(s)，分配子任务
↓
Subagent接收子任务
↓
Subagent规划执行步骤（思考需要哪些数据、工具）
↓
是否需要外部数据？
├─ 是 → 调用MCP工具获取
└─ 否 → 继续
↓
调用Skills中的Tools处理数据
↓
完成任务，返回结果给主agent
↓
主agent汇总所有Subagent结果
↓
主agent整合、格式化最终结果
↓
输出给用户
核心要点总结
| 概念 | 是什么 | 类比 |
|---|---|---|
| Skills | 能力模块（提供Tools集合） | 手机App |
| Tools | 具体可调用的函数 | App里的按钮 |
| MCP | 通信协议（Tools底层） | 通用语言/电话 |
| Subagents | 并行执行的小智能体 | 外包团队 |
| 主agent | 协调者+最终整合者 | 项目经理 |
关键区别：
- Skills 是静态能力包，Tools 是 Skills 里的具体动作
- MCP 是某些 Tools 的底层通信方式
- Subagents 是并行执行的任务分派单元
skill-creator 深度解析
项目结构
skill-creator/
├── SKILL.md # 技能主文档（33KB）
├── agents/ # 子代理指令集
│ ├── analyzer.md # 分析代理：分析基准测试结果
│ ├── comparator.md # 比较代理：盲测比较两个输出
│ └── grader.md # 评分代理：评估断言通过情况
├── references/
│ └── schemas.md # JSON 数据结构定义
├── scripts/ # 可执行脚本
│ ├── aggregate_benchmark.py # 聚合基准数据
│ └── generate_report.py # 生成HTML评估报告
└── assets/ # 静态资源（模板等）
核心文件详解
1. SKILL.md（灵魂文件）
作用：定义 skill-creator 这个技能的完整行为规范
结构：
---
name: skill-creator
description: Create new skills, modify and improve existing skills...
---
工作流程（Markdown 正文）：
1. 捕获意图（问清楚技能要干吗）
2. 采访研究（了解边界、依赖、工具）
3. 编写 SKILL.md（按规范写）
4. 创建测试用例（evals.json）
5. 运行测试（并行spawn子代理）
6. 评估结果（评分+benchmark）
7. 改进技能（根据反馈修改）
8. 重复直到满意
9. 优化触发描述（可选）
关键概念：
| 概念 | 说明 |
|---|---|
| 渐进式披露 | 技能内容分层加载（元数据→SKILL.md正文→引用文件），避免一次性加载太多 |
| 无惊喜原则 | 技能不能包含恶意代码，必须与描述一致 |
| 迭代循环 | draft → test → review → improve（闭环） |
| 客观评估 | 用断言（assertions）和基准测试（benchmark）量化技能效果 |
2. agents/*.md（三个专用子代理）
这些文件是给子代理看的指令，当主技能 spawn 这些代理时，会把对应的 .md 内容发给他们作为"工作手册"。
(1) comparator.md（盲测比较员）
角色：像评委，给两个输出打分，但不知道哪个是哪个（盲测）
工作流程：
收到：输出A、输出B、任务描述
↓
理解任务要求（要产出什么？质量标准？）
↓
制定评分标准（内容分+结构分，每项1-5分）
↓
给A和B分别打分
↓
决定谁赢了（根据总分，次要看断言通过率）
↓
输出 JSON 结果（winner, reasoning, rubric）
输出示例：
{
"winner": "A",
"reasoning": "Output A provides a complete solution...",
"rubric": {
"A": {
"content_score": 4.7,
"structure_score": 4.3,
"overall_score": 9.0
},
"B": {
"overall_score": 5.4
}
}
}
(2) analyzer.md（赛后分析师）
角色：比赛完后，分析为什么赢家赢了，输家输了，给出改进建议
工作流程：
收到：winner/loser的技能路径、执行记录、比较结果
↓
读输家的技能 → 读赢家的技能 → 找差异
↓
读输家的执行记录 → 读赢家的执行记录 → 找行为差异
↓
总结：
• 赢家强在哪里？
• 输家弱在哪里？
↓
输出改进建议（priority + category + suggestion）
输出示例：
{
"winner_strengths": ["Clear step-by-step instructions", "Included validation script"],
"loser_weaknesses": ["Vague instruction", "No script for validation"],
"improvement_suggestions": [
{
"priority": "high",
"category": "instructions",
"suggestion": "Replace 'process appropriately' with explicit steps",
"expected_impact": "Would eliminate ambiguity"
}
]
}
(3) grader.md（断言评分员）
角色：检查输出是否满足预设的"断言"（expectations），并评估测试用例本身的质量
工作流程：
收到：断言列表、执行记录、输出文件路径
↓
读执行记录 + 检查输出文件
↓
对每条断言：
• 找证据（transcript 或输出文件里有没有？）
• 判断 PASS/FAIL（要有明确证据，不能是巧合）
↓
额外工作：
• 提取输出中的隐含声明（claims）并验证
• 读用户笔记（如果有）
• 评估断言质量（是否太松？是否遗漏重要检查？）
↓
输出 grading.json
评分标准：
- PASS：有明确证据，且反映实质性完成
- FAIL：无证据、有反证、或只是表面满足
- burden of proof：默认 FAIL，除非证据确凿
输出示例：
{
"expectations": [
{"text": "The output includes the name", "passed": true, "evidence": "Found in transcript..."},
{"text": "The spreadsheet has SUM formula", "passed": false, "evidence": "No spreadsheet was created"}
],
"summary": {"passed": 1, "failed": 1, "pass_rate": 0.5},
"eval_feedback": {
"suggestions": ["Assertion too loose, consider adding content verification"]
}
}
3. references/schemas.md（数据格式字典）
作用：定义所有 JSON 文件的 schema，确保不同组件能互相理解
包含的结构：
| 文件名 | 用途 | 位置 |
|---|---|---|
evals.json |
定义测试用例 | evals/evals.json |
grading.json |
评分结果 | <run-dir>/grading.json |
metrics.json |
执行指标 | <run-dir>/outputs/metrics.json |
timing.json |
时间记录 | <run-dir>/timing.json |
benchmark.json |
基准测试汇总 | benchmarks/<timestamp>/benchmark.json |
comparison.json |
盲测比较结果 | <grading-dir>/comparison-N.json |
analysis.json |
分析报告 | <grading-dir>/analysis.json |
history.json |
迭代历史 | 工作区根目录 |
4. scripts/*.py（实用工具）
aggregate_benchmark.py
作用：把多个运行（with_skill、without_skill，每个3次重复）的数据聚合成统计摘要
输入：<workspace>/iteration-N/ 下的多个 grading.json
输出：benchmark.json + benchmark.md
关键计算：
# 对每个配置（with_skill, without_skill）计算：
mean = average(所有run的pass_rate)
stddev = 标准差（看波动大不大）
min/max = 最好/最差
# delta = with_skill 均值 - without_skill 均值
delta = {
"pass_rate": "+0.50", # 技能提升50%
"time_seconds": "+13.0", # 慢了13秒
"tokens": "+1700" # 多用1700 tokens
}
generate_report.py
作用：根据 run_loop.py（描述优化）的输出，生成可视化的HTML报告
输入：run_loop 的 JSON 输出
输出：HTML 文件，表格展示：
- 行：每个描述版本（iteration 1, 2, 3...）
- 列：每个测试查询
- 单元格：✅ 或 ❌（是否触发了技能）
功能：
- 区分 train（训练集）和 test（测试集）的触发率
- 自动刷新（可选）
- 显示 train/test 得分，防止过拟合
完整工作流程
场景：你要做一个"把PDF转Excel"的技能
第1步：想清楚技能要干吗
↓
第2步：写初版 SKILL.md（说清楚：遇到PDF转Excel就触发，用python写脚本）
↓
第3步：设计测试用例（evals.json）
- case1: "把这个销售PDF转成Excel"
- case2: "财报PDF，提取表格"
↓
第4步：并行运行测试
spawn 3个 with-skill 代理 + 3个 without-skill 代理
每个代理独立完成任务，保存输出
↓
第5步：评分
grader 代理检查：输出是不是Excel？数据对不对？
↓
第6步：聚合统计
aggregate_benchmark.py 算：
with-skill 平均通过率 85%，标准差 5%
without-skill 平均通过率 35%，标准差 8%
↓
第7步：看报告
generate_report.py 生成HTML，打开浏览器看：
- 哪些case过了？哪些挂了？
- 输出文件长什么样？
↓
第8步：改进技能
发现：技能里没说"遇到扫描件要用OCR"
修改 SKILL.md，加上OCR步骤
↓
第9步：重复4-8步，直到用户满意
↓
第10步：优化触发描述（可选）
run_loop.py 自动测试20个query，调整description
↓
第11步：打包成 .skill 文件给用户
三个专用子代理对比
| 代理 | 角色 | 输入 | 输出 | 用途 |
|---|---|---|---|---|
| grader | 断言评分员 | 断言 + transcript + outputs | grading.json |
客观评分每条断言 |
| comparator | 盲测比较员 | 输出A + 输出B + 任务 | comparison.json |
A/B测试，决定哪个更好 |
| analyzer | 赛后分析师 | winner/loser的skill + transcript | analysis.json |
分析胜负原因，给出改进建议 |
实践：创建自定义技能
步骤1：使用 skill-creator
# 如果你在 Claude Code 中，直接说：
"我想创建一个技能，用来..."
# skill-creator 会引导你：
# 1. 捕获意图（问清楚用途、触发条件、输出格式）
# 2. 采访研究（边缘案例、依赖、示例）
# 3. 编写 SKILL.md
步骤2：设计测试用例
创建 evals/evals.json：
{
"skill_name": "my-skill",
"evals": [
{
"id": 1,
"prompt": "User's task prompt",
"expected_output": "Description of expected result",
"files": ["evals/files/sample1.pdf"],
"expectations": [
"The output includes X",
"The skill used script Y"
]
}
]
}
步骤3：运行评估
# skill-creator 会：
# 1. spawn with_skill ×3（并行）
# 2. spawn without_skill ×3（基线）
# 3. 保存结果到 workspace/iteration-1/
步骤4：查看报告
# 生成 HTML 报告
python -m scripts.generate_report <workspace>/iteration-1 \
--skill-name "my-skill" \
--benchmark <workspace>/iteration-1/benchmark.json
步骤5：迭代改进
根据 feedback.json 和 analysis.json 修改 SKILL.md，重复步骤3-4。
步骤6：描述优化（可选）
提升触发准确率：
python -m scripts.run_loop \
--eval-set trigger_evals.json \
--skill-path ./my-skill \
--model <current-model> \
--max-iterations 5
步骤7：打包
python -m scripts.package_skill ./my-skill
# 输出：my-skill.skill
参考资源
官方仓库
- anthropics/skills：https://github.com/anthropics/skills
官方预设 Skills
| 技能 | 用途 | 链接 |
|---|---|---|
| docx | Word 文档处理 | 查看 |
| xlsx | Excel 表格处理 | 查看 |
| pptx | PowerPoint 处理 | 查看 |
| PDF 处理 | 查看 |
教程
- 🎥 B站视频：吴恩达《Agent Skills with Anthropic》教程中文版
- 📚 中文教程：Datawhale agent-skills
- 📚 英文教程：Deeplearning-ai Agent-skills
附录：技能 Anatomy
skill-name/
├── SKILL.md (required)
│ ├── YAML frontmatter (name, description required)
│ └── Markdown instructions
└── Bundled Resources (optional)
├── scripts/ - Executable code for deterministic/repetitive tasks
├── references/ - Docs loaded into context as needed
└── assets/ - Files used in output (templates, icons, fonts)
渐进式披露：
- Metadata（name + description）— Always in context (~100 words)
- SKILL.md body — In context whenever skill triggers (<500 lines ideal)
- Bundled resources — As needed (unlimited, scripts can execute without loading)
浙公网安备 33010602011771号