[AI/Agent/工程化] Harness 工程：把大模型能力驯化为稳定生产力的 AI Agent 系统底座

1 概述（必读）

1.1 概念介绍

Harness 工程 = 把"大模型的能力"驯化成"稳定生产力"的工程体系。
核心公式：Agent = Model + Harness —— 模型负责"会不会"，Harness 负责"能不能稳定（可靠性、鲁棒性）、安全（安全性）、可控地（确定性）上生产"。

  • 定位（类比）：如果说大模型是引擎/CPU、上下文窗口是 缓存/内存/RAM，那么 Harness 就是操作系统（OS）与"整车"工程——它不是一个模型，而是围绕 LLM 构建的执行控制系统与运行时基础设施，承载模型运行、约束模型行为、提供反馈信号、保障迭代落地。

    • 腾讯副总裁李强比喻："模型是引擎，Harness 是把引擎变成整车的工程。"

  • 诞生的背景与原因：2026 年行业实测反复证明"同一个模型在不同工程环境里表现天差地别"。

    • OpenAI 官方文章直接以 "Harness engineering" 命名（2026-02-11）；
    • Anthropic 在 2025 年底与 2026 年 3 月反复强调 harness design 对长时 Agent 的决定性作用。
    • 业界结论：智能体的能力天花板，从来不是【模型】本身，而是你围绕它构建的【系统】。

  • 解决的核心问题：

    • 长流程任务失控、模型幻觉频发、输出质量不稳定、无法验收、架构腐化、越权操作——即把 AI 从"单次交互工具"变成"可稳定、可验收、可规模化、可长期运行"的生产力单元。

  • 核心文献：

1.2 发展历程

三代工程化演进（2022—2026）

阶段 时间 优化对象 一句话定位
Prompt Engineering（提示词工程） 2022–2024 模型输入 优化"单次调用怎么说"，会不会说、说得好不好
Context Engineering（上下文工程） 2025 模型所见 优化"每个步骤模型看到什么信息"，看得准、记得住
Harness Engineering（Harness 工程） 2026– 系统运行层 优化"模型如何运行"，能不能干、干得稳、可落地
  • 三代层层递进且互相包含：Harness ⊇ Context ⊇ Prompt。

关键里程碑时间线

时间 事件
2022–2023 ReAct 确立 observe-think-act 循环原语；AutoGPT/BabyAGI 暴露"执行失控、上下文爆炸、状态丢失"等基建问题
2025-08 下旬 OpenAI 从空 Git 仓库启动"零人工写代码"实验（Codex 团队）
2025 底 Anthropic 强调 harness design 对长时 Agent 的作用
2026-02-11 OpenAI 官方文章正式命名 "Harness engineering"，公开 5 个月产出约 100 万行代码、1500 PR、零人工手写代码
2026-03-24 Anthropic 发布 "Harness design for long-running application development"（GAN 启发的 Planner-Generator-Evaluator 三智能体架构）
2026-04-08 Anthropic 发布 Managed Agents：将 agent 虚拟化为 Session / Harness / Sandbox 三组件（"meta-harness"）
2026-04-27 OpenAI 开源 Symphony：基于 issue tracker 的 Codex 编排规范（Apache-2.0，含 Elixir 参考实现）
2026-08-19 OpenAI 全面开源 Codex Agent Harness（Apache-2.0，Rust 核心 codex-rs + SDK + app-server）

支撑这一转向的关键实证（均未改模型，仅改 Harness）

  • OpenAI：3→7 名工程师，5 个月产出约 100 万行生产代码、约 1500 个合并 PR，人均 3.5 PR/天，单任务自主运行 6+ 小时，agent 审 agent 替代人工 review。团队估算约 1/10 手工编码时间。
  • Anthropic 对照实验（retro game maker）：solo 智能体 20 分钟/$9，成品不可玩；完整 Harness 6 小时/$200，落地 16 项完整功能、可正常运行（20 倍 token 成本换"质变"）。
  • Bölük (2026a)：仅修改工具格式与外围 harness、不动模型，15 个模型在编码基准上最高提升 10×。
  • Viv Trivedy (2026)：固定 GPT-5.2-Codex，仅靠系统提示重构+中间件上下文注入+自校验 hook，Terminal-Bench 2.0 从 52.8% → 66.5%（+13.7pp）；另有报道称其将性能从全球 Top30 提至 Top5。
  • Meta-Harness（Stanford/MIT）：自动化 harness 优化在 Terminal-Bench-2 达 76.4%，超越全部手工设计。
  • LangChain DeepAgents：仅 harness 层改动，Terminal-Bench 2.0 从 52.8% → 66.5%（约 26% 相对提升）。
  • Claude Code 解剖：研究者按代码行分类发现约 98.4% 属 harness（权限管线、上下文管理、沙箱、工具路由、恢复基建），仅 1.6% 为 AI 决策逻辑（该方法论带注记，来自泄露包的行数分类）。
  • Codex Harness 优化：retained reasoning + context compaction 令 GPT-5.6 Sol 在 ARC-AGI-3 从 13.3% → 38.3%，输出 token 减少 6 倍。

行业名言

  • Addy Osmani（Google）："一个不错的模型配上优秀 Harness，能稳稳击败一个优秀模型配上糟糕 Harness。"
  • HumanLayer："这不是模型问题，是配置问题（It is not a model problem. It is a configuration problem.）。"
  • 媒体总结："2026 年最值钱的工程能力 = 谁先把模型真正接进组织生产系统，并让它稳定产出。"

1.3 主要功能

Harness 在运行时承担以下职责：

  1. 清晰任务边界：不能只说"去修 bug"，要告诉它"只能改 services/order 目录、不许动 schema、必须过单测+lint、不能直 merge 主分支"。
  2. 正确上下文供给：上下文是稀缺资源。用 AGENTS.md 作"目录 + 结构化 docs/ 仓库"实现渐进式披露，而非 1000 页说明书的塞满式投喂。
  3. 受控工具接入：MCP / 工具白名单 / 权限矩阵，kubectl 只给 get/list/logs、secrets 是否可查、生产是否短期 token——"不是无限放权，而是刚刚好 + 严格审计"。
  4. 闭环反馈回路：把 Chrome DevTools、DOM 快照、截图、LogQL/PromQL 查询直接接入 agent 运行时，让它能"复现问题→验证修复→录制结果→提 PR"，不再盲飞。
  5. 安全护栏 + 人机切换（HITL）：高危操作人工拍板、模糊场景专家介入、置信度阈值、紧急熔断。核心不是连接能力，而是控制能力。
  6. 长周期执行：Ralph Wiggum loop 拦截模型提前收尾，上下文重置/交接实现多会话长任务；规划-生成-评估拆分规避自我评估乐观偏差。
  7. 记忆与持续学习：AGENTS.md 规则文件 + 文件系统/Git 持久化 + 向量检索，实现跨会话知识沉淀。
  8. 棘轮机制（Ratchet）：每次真实失败→沉淀为一条永久规则（如禁 rm -rf、禁注释测试代码、类型检查背压）。
    1. 规则必须溯源真实报错、禁止杜撰，随模型升级可删冗余。

1.4 核心优势

  • 模型无关、杠杆极高：主流 Claude Code/Cursor/Cline 底层共用顶尖模型，用户体验差异约 80% 来自 Harness 设计；同一模型换工具链可从基准第 33 名跳到第 5 名。
  • 直接提升"完成率+可靠性"而非"单轮回答质量"：与 Prompt 工程是量级差异，面向生产底座。
  • 工程经验可永久沉淀：棘轮规则让 Harness "越用越精准"，Agent 越迭代越可靠，实现"每次失败都变成规则"。
  • 人类时间/注意力是唯一稀缺资源：Harness 把人类从"写代码"转为"设计环境、明确意图、构建反馈回路"。
  • 兼容叠加：包含并超越 Prompt/Context 工程，不推翻已有投入。

1.5 主要短板

  • 成本高：完整 Harness 是单模型直出的 20 倍以上 token 成本（Anthropic 实验 $200 vs $9）；DAW 实验单次约 4 小时/$124。
  • 搭建复杂、耗时：要搭建规划/生成/评估、约束、Hook、观测、审计全套，工程量大。
  • 过度工程化风险：简单任务硬套全套 Harness 反而降低效率、性价比极低，需场景化取舍。
  • 可复现性有限：OpenAI 自认"行为在很大程度上依赖该仓库特定结构与工具，不应假定可泛化"。
  • 需要持续维护：Harness 编码的是"模型当下做不到什么"的假设，模型升级后组件会迅速过期（Sonnet 4.5 的 context resets 在 Opus 4.5 上成为死重）。
  • 评估器本身是 LLM：QA agent 天然乐观、测试流于表面，需要多轮人工 tuning 才可靠（Anthropic 明确"Claude 出厂是差劲的 QA 代理"）。

1.6 局限性

  • 模型天花板会持续上移但永不消失：旧短板（如 context anxiety）随模型迭代被补齐、对应组件删除，但新能力解锁新失败模式（长周期记忆、多智能体协同、生成式 UI 质量评估），需要新 Harness 适配。
  • "可 Harness 性（Harnessability）"约束：强类型语言、清晰模块边界、标准化框架更适合搭建；遗留项目技术债重、结构混乱，恰恰最需要却也最难搭。
  • 安全边界未闭合：prompt injection、凭据泄漏、沙箱逃逸仍是结构性威胁（Anthropic 通过"凭据永不进入沙箱"的架构修复，但攻击面持续扩大）。
  • 无法弥补模型自身短板：如产品直觉、主观品味类问题，Harness 只能部分缓解。
  • 领域泛化受限：前端设计（主观品味）与完整应用（可验证正确性）两个领域的 Harness 不能简单复用，需分别设计。

1.7 适用场景

场景 是否推荐全套 Harness 原因
大型工程项目、长流程复杂 Agent ✅ 全流程可控、质量可验收
金融/政务/工业等高风险业务 ✅ 安全护栏+审计+回滚是刚需
亿级流量后端 / 编码 Agent（Codex/Claude Code 类） ✅ 单体研发产能 3–10 倍放大
多轮长对话、RAG 知识库问答 ⚠️ 用 Prompt+Context 即可 无需完整三层架构
单次问答、文案、轻量脚本 ❌ 仅 Prompt 零基建快见效

企业落地关键点：从非核心业务单点试点（如内部知识问答）→ 初期人工审核率 100%、渐进降至 10% → 合规优先（GDPR/等保）→ 专属可观测性面板。

1.8 同类竞品与相关概念

与相邻概念/技术的边界

概念 定位 与 Harness 的关系
Prompt Engineering 优化单次回答质量 被 Harness 包含的第一层
Context Engineering 优化模型看到什么 被 Harness 包含的第二层
Loop Engineering 智能体内部反馈循环的工程实践（Kilo.ai 2026-06 定义） 与 Harness 互补：Loop 管"如何迭代"，Harness 管"在什么环境工作"
Agent Hardening Agent 安全加固（prompt injection 防御、工具沙箱化、凭据管理） Harness 的"安全层"子方向
Agent Framework（LangChain、CrewAI、AutoGen、OpenAI Agents SDK、Claude Agent SDK、Google ADK） 开发者工具箱 框架是组件的编程接口，Harness 是运行态控制层
Agent Runtime（LangGraph） 低抽象执行引擎 Harness 可构建在 Runtime 之上
MCP（Anthropic） 工具协议层 Harness 的工具接入标准之一
A2A（Google） 智能体间协议 Harness 的多智能体编排标准之一
Agentic Workflows / ReAct 循环/思考模式 Harness 内循环的实现原语

LangChain 官方分层澄清（Deep Agents vs LangChain vs LangGraph，2026-08）：LangGraph 是 agent runtime（控制最强、抽象最少）；LangChain 是 agent framework（开发者工具箱）；Deep Agents 是 agent harness（开箱即用的全套装备，含虚拟文件系统做上下文工程、模型无关、长期记忆、生产部署方案）。

关键开源/开源化落地项目

项目 定位 要点
Codex Agent Harness（OpenAI，2026-08-19 开源） 生产级 agent harness Apache-2.0；Rust 核心 codex-rs；三层接入（codex exec / @openai/codex-sdk / codex app-server）；Thread/Turn/Item 原语；Model Adapter + Tool Router + Policy Engine 三大扩展点；截至 2026-08-21 约 10.7 万 Star
Symphony（OpenAI，2026-04-27） 工单驱动的 Codex 编排规范 Apache-2.0；RFC-2119 式 SPEC.md + Elixir/OTP 参考实现；把 issue tracker 变成控制面；6 月约 2.52 万 Star；官方不维护为独立产品
Meta-Harness（Stanford/MIT） 自动优化 harness 自动化搜索优于人工设计，Terminal-Bench-2 达 76.4%
DeepAgents（LangChain） 商用 agent harness 仅 harness 改动 +13.7pp 于 Terminal-Bench 2.0
Claude Managed Agents（Anthropic） 托管 meta-harness 2026-04-08 公测，$0.08/会话小时，p50 TTFT 降约 60%
agent-harness-core（phenomenoner） 自托管 Rust agent harness Rust 运行时，连接 chat + 沙箱
hardness（npm） 引导式 agent 交付流 从 PRD 到交付报告，支持 Claude Code/Codex/Gemini CLI
AgentArmor / AgentBlast / agentic-radar 等 安全加固/红队工具 prompt injection、越权、工具滥用检测
... ... ...

内部实践谱系（agent 自主度光谱）

  • 保守：agent 写代码、人工 review（Stripe Minions——每周合并 1000+ PR、人工把关）
  • 中等：agent 写代码、行为验证替代 review（StrongDM Factory）
  • 激进：agent 写代码、agent 审 agent、人类只做编排（OpenAI Harness；早期内部团队落地 PR 增长 500%）

1.9 发展趋势

总结：行业从"卷模型参数"转向"卷系统设计"——Harness 工程正从 OpenAI/Anthropic 的内部实践，快速走向开源化、标准化、托管化与自动化，成为 AI Agent 生产落地的独立学科。

  • 开源化：Codex Agent Harness 全面开源（Rust 核心），第三方可复用与商业产品相同的底层运行时。
  • 标准化：Symphony 规范、MCP/A2A 协议、issue-tracker 作为编排控制面。
  • 托管化：Claude Managed Agents 把 Session/Harness/Sandbox 虚拟化为稳定接口，做成"meta-harness"。
  • 自动化：Meta-Harness 证明 harness 可被自动搜索优化，agent 审 agent、自校验成主流。
  • 模板化：针对主流技术栈打包"引导层+校验层+反馈层"模板，降低搭 harness 成本。
  • 能力认证化：被媒体称为"未来两年最值钱的工程能力"，工程师从"提示词工程师"转向"系统架构师"。

2 工作原理与架构

2.1 概念术语

术语 含义
Harness / Agent Harness 围绕 LLM 的执行控制系统与运行时基础设施（工具、记忆、执行循环、约束、观测、审计）
Agent = Model + Harness 核心公式：模型是计算单元，Harness 是外围完整系统
Session 追加式（append-only）的会话事件日志，独立于模型上下文窗口存在
Sandbox 沙箱执行环境，agent 运行代码/编辑文件的隔离场所
Harness Loop / Agent Loop 调用模型并路由其工具调用的循环
Planner / Generator / Evaluator 规划器/生成器/评估器三层对抗架构（GAN 启发）
Sprint Contract 每轮迭代前生成器与评估器约定的"完成"标准
Context Compaction / Reset / Anxiety 上下文压缩（就地摘要）/ 重置（清空换新 agent 交接）/ 焦虑（临近上限提前收尾）
Ralph Wiggum Loop 通过 hook/脚本让 agent 持续迭代直至干净的循环
棘轮机制（Ratchet） 每次真实失败沉淀为永久规则，只增可删
Progressive Disclosure 渐进式披露：从小而稳定的入口开始，按需揭示深层信息
HITL（Human-in-the-Loop） 人工介入循环：高危确认、专家介入、熔断
Harnessability "可 Harness 性"：代码库适配 agent 迭代的能力
ETCLOVG 学术综述提出的 Harness 七层分类（见 2.3）
Model Adapter / Tool Router / Policy Engine Codex Harness 三大扩展点：模型适配、工具发现路由、策略护栏

2.2 架构与运行原理

核心心智模型

graph TD subgraph AGENT[Agent 应用层] A1[业务上下文 / 业务规则 / 工具] end subgraph HARNESS[Agent Harness（操作系统层）] H1[Prompt Presets] H2[Tool Handling / Tool Router] H3[Lifecycle Hooks] H4[Planning / Orchestration] H5[Filesystem & Git 持久状态] H6[Sub-Agent Management] H7[Policy / Guardrails] H8[Observability & Audit] end subgraph HW[底层硬件抽象] M[Model（CPU）] C[Context Window（RAM）] end A1 --> HARNESS HARNESS --> M HARNESS --> C

原理总结：模型提供"柔性理解与规划"，Harness 负责"输出约束 + 确定性执行 + 全程审计"。其工作模式与 LLM 单次生成完全不同——模型在 Harness 设定的环境（看什么、能动什么、何时必须停）内反复"意图→采集→行动→观察→调整"循环，直至达标或被人工/规则熔断。

Anthropic 的三组件虚拟化（Managed Agents，meta-harness）

借鉴 OS "进程/文件"抽象，把 agent 虚拟化为可独立替换的接口：

组件 接口（伪代码） 可由什么满足
Session getSession(id)、getEvents(id)、emitEvent(id,event) 任意可顺序消费、幂等追加的追加式日志（Postgres/SQLite/内存数组…）
Harness yield Effect<T> → EffectResult<T> 任意"产出效应并向 Session 追加进度"的循环
Sandbox provision({resources})、execute(name,input)→string 任意可配置一次、按工具多次调用的执行器（本地进程/远程容器…）
Orchestration wake(session_id) 任意可重试的调度器（cron/队列/while-loop…）
Resources / Tools 挂载引用、{name,description,input_schema} 任意持久存储 / 任意 MCP server 或自定义工具
  • 关键设计："大脑"（Claude+harness）与"手"（沙箱/工具）、"日志"（session）解耦。容器（手）变成 cattle：坏了用 provision 重建；harness 也可崩溃重启并从 session 恢复。凭据从不进入沙箱（git token 在初始化时注入 remote，MCP OAuth 由 vault 代理持有）。收益：p50 首 token 时延降约 60%、p95 降 90%+，支持"多脑多手"扩展。

Anthropic 的 Planner-Generator-Evaluator 三智能体架构（GAN 启发）

graph LR U[用户 1-4 句 Prompt] --> P[Planner 规划器] P -->|完整产品规格 + 设计语言| G[Generator 生成器] G -->|每 Sprint 产出| E[Evaluator 评估器<br/>Playwright 真实点击验收] E -->|不达标: 详细问题清单退回| G E -->|达标: 进入下一 Sprint| P
  • Planner：把 1–4 句需求扩成完整产品规格（聚焦高层设计，避免细节预判错误级联）。
  • Generator：按 Sprint 逐功能实现（React/Vite/FastAPI 栈），git 版本控制，交付前自评。
  • Evaluator：通过 Playwright MCP 像真实用户一样点击运行中的应用，按"产品深度/功能完整性/视觉设计/代码质量"四维硬性验收，不达标强制返工。
  • Sprint Contract：每轮开工前双方约定"done"标准（如 Sprint 3 达 27 条验收标准），消除理解偏差。
  • 文件即通信：agent 间通过读写文件交接上下文，避免上下文污染。
  • 迭代实证：迭代中生成器出现"第 10 轮推倒重来"的创造性跃迁；Opus 4.6 后无需 context reset、可去掉 Sprint 拆分，评估器转为"任务超出模型可靠边界时才值得"的动态取舍。

Codex Harness 三层接入架构（2026-08 开源）

层 组件 适用场景
第一层 codex exec（CLI，非交互） CI/CD 流水线、一次性脚本、批量任务
第二层 @openai/codex-sdk（TypeScript） 程序化编排，线程分叉/恢复、流式事件、中断控制
第三层 codex app-server（JSON-RPC 2.0，stdio/socket/WebSocket） 产品级嵌入（桌面 App、IDE 插件），持久会话+审批机制
  • 核心原语：Thread（会话，可 fork/resume）、Turn（单轮交互）、Item（原子事件：消息/推理步骤/Shell 命令/文件编辑）。
  • 三大扩展点 + 安全边界：Model Adapter（接任意 OpenAI 兼容端点，--model deepseek-v4-flash 即可换）、Tool Router（工具发现与路由）、Policy Engine（策略与护栏）；安全边界框定 Runtime + Sandbox；事件汇入 Event Store（Events/Logs/Traces/Metrics）。
  • 技术选择：Rust 实现所有性能敏感路径（调度、沙箱、TUI、传输），TypeScript SDK 仅作上层接口。

成熟 Harness 的八大核心组件（行业落地归纳、必读）

  1. 文件系统与 Git 持久状态层——跨会话、长周期状态延续的基础载体；
  2. Bash 代码执行通用工具——开放合规终端，适配个性化开发场景；
  3. 沙盒隔离运行环境——隔离的包管理器/测试工具/无头浏览器，防高危操作破坏本地环境；
  4. 记忆与搜索持续学习模块——AGENTS.md 规则文件实现会话间知识传递；
  5. 上下文腐烂对抗体系——四方案：智能摘要压缩 / 工具输出卸载到文件 / 按需渐进式加载 / 极端时全量重置；
  6. 长周期执行架构——Ralph Loop 拦截提前退出 + 规划/生成/评估三模块拆分，规避自我评估乐观偏差；
  7. Hook 强制校验层——工具调用/文件编辑/提交/会话启动关键节点触发，成功静默、失败注入报错强制整改；
  8. AGENTS.md 规则与工具选择体系——杠杆最高的配置核心，最优实践控制在 60 行内、每条规则对应一次真实故障。

五大工程安全防线（生产级必备）

环境全隔离（开发/测试/生产分离）

→ 自动化校验阻断（Lint/单测/接口自测/编译）

→ 精细化权限管控（最小权限）

→ 快照与回滚（一键恢复）

→ 技术债常态化治理（自动扫描+tech-debt-tracker）。

2.3 学术视角：ETCLOVG 七层分类（Agent Harness Engineering: A Survey）

2026 年 CMU/Yale/JHU 等联合综述提出"绑定约束论（binding-constraint thesis）"：对可比前沿模型，长时任务基准方差受 execution harness 影响不亚于模型本身。提出七层分类并映射 170+ 开源项目：

层 缩写 内容 生态密度
执行环境与沙箱 E 沙箱运行时、资源边界、执行基座 密
工具接口与协议 T 工具 schema、协议层、工具路由 密
上下文与记忆管理 C 活跃上下文、会话状态、长期记忆 密
生命周期与编排 L 单 agent 内环、多 agent 协同、任务流水线 密
可观测性与运维 O Tracing、成本/时延、故障诊断、可靠性工程 薄（多在商业平台）
验证与评估 V 基准锚定、就绪评估、trace 捕获、判断归因、回归反馈 密
治理与安全 G 权限控制、策略执行、审计、护栏 薄（多在商业平台）

跨层三难：成本-质量-速度三难、能力-控制权衡、harness 耦合问题；开放问题聚焦执行环境加固、长运行状态可靠性、从 trace 诊断失败、跨 agent/工具/人的标准交接、保持 harness 随模型升级仍有用。

3 使用指南

类比 Skill 的"安装部署 / 关键操作"章节——Harness 工程的"安装"即搭建方法，"关键操作"即落地实操。

3.1 开发五步法（企业级搭建路径）

阶段 动作 要点
1. 需求锚定 识别高价值高风险场景，定义成功指标（如任务完成率 >95%），建立失败模式清单（越权/数据泄漏/死循环） 不要先选工具，先定义"什么算成功/什么算失败"
2. 约束设计 绘制工具调用拓扑图、标注权限边界；设计上下文模板（业务规则+安全策略）；制定熔断条件（连续失败 3 次自动暂停） 边界不清 = 事故制造机
3. 模块实现 实现安全工具网关（白名单+参数校验+审计日志）、上下文管理器、多智能体编排器、HITL 节点 参考 SecureToolGateway / ContextManager 示例代码
4. 测试验证 混沌工程（随机注入故障）、边界测试（极端输入）、合规审计（全操作留痕可追溯） 用"可能失败"的动作验证
5. 持续优化 运行时指标监控（成功率/平均耗时）、人工审核样本分析、自动化回归、模型+约束协同进化 反馈闭环是核心驱动力

3.2 三个立刻见效的实操（无需升级模型/重构项目）

  1. 优化 AGENTS.md 规则文件：检查项目根目录有无 AGENTS.md/CLAUDE.md；删除"写高质量代码"等空泛规则；基于近两周真实报错新增 3–5 条精准规则，每条聚焦一个具体问题、篇幅简短、可校验。
  2. 配置基础 Hook 强制校验（约 30 分钟见效）：代码修改后自动触发类型检查/核心单测/语法校验；成功静默、失败注入详细报错强制整改——根治"虚假完成任务、代码实际报错"。
  3. 执行一次棘轮迭代：复盘一周内 agent 失误，筛出"可被前置规则规避的人为配置类错误"，提炼为一条规则写入 AGENTS.md；每月沉淀 8–10 条实战规则。

3.3 快速上手现有 Harness 工具

  • Codex Harness（OpenAI 开源）：
    # 第一层：CI/脚本场景，非交互
codex exec "重构 src/utils.ts 中的 fetchData 函数，添加错误处理"
# 第三层：生成 TS 类型定义
codex app-server generate-ts --out ./schema/
    换模型：export OPENAI_BASE_URL=... 后 codex exec --model deepseek-v4-flash "..."（模型无关）。
  • LangChain DeepAgents：作为开箱即用 harness，虚拟文件系统按需管理上下文，模型无关、可插拔后端、长期记忆、含生产部署方案。
  • Anthropic Claude Agent SDK / Managed Agents：调 execute(name,input)→string 接口接沙箱，用 session 事件流做长任务恢复。

3.4 场景选型对照

选型 适用
仅 Prompt Engineering 单次问答、文案创作、轻量查询、临时脚本
Prompt + Context Engineering 多轮长对话、RAG 知识库问答、文档分析
三代全套（Prompt+Context+Harness） 大型工程、长流程复杂 Agent、金融/政务/工业高风险、长期迭代产品

Z FAQ for 驾驭工程

Q: Harness 工程和 Prompt 工程的区别？

Prompt 优化"单轮回答质量"（话术怎么写）；Harness 优化"长流程任务完成率 + 系统可靠性"（agent 看到什么上下文、能调什么工具、失败怎么回滚、何时人工审批、行为怎么审计）。一个是"聊天优化"，一个是"生产底座"，完全不是一个量级；Harness 包含 Prompt 与 Context。

Q: 为什么同一个模型在不同 Harness 下差距这么大？

因为模型只负责"会"，能否稳定交付取决于外围系统：任务边界、上下文供给、工具权限、反馈回路、验证与审计。2026 年实证：只改 harness 不改模型，最高 10× 编码基准提升、+13.7pp Terminal-Bench、Top33→Top5 排名变化，均超过"模型换代"的常规增益（2–4pp）。

Q: Harness 会随模型变强而被淘汰吗？

不会，但会"瘦身再进化"。

模型变强会让旧的假设组件变冗余（可删），但会解锁更复杂任务、产生新失败模式，需要新 Harness。

Anthropic 观点："Harness 组件的意义是弥补模型【当下】不具备的能力"；规划-生成-评估的核心闭环不会消失。

Q: 为什么 Full Harness 这么贵？值得吗？

20 倍 token 成本（$200 vs $9）换来"从不可玩到完整可用"的质变。

决策标准：任务是否超出当前模型可可靠单干的范围？在边界外，评估器/校验层带来的提升远超其成本；简单任务则属于过度工程化。

成本-质量-速度三难需场景化取舍。

Q: 个人开发者怎么开始？

三步：

①建 AGENTS.md（删空泛规则、加真实报错规则，≤60 行）；

②配 Hook 强制校验（类型检查+单测，成功静默失败告警）；

③每周做一次棘轮迭代沉淀规则。

已有案例：

独立开发者跑 5–10 个 agent、月均 6600+ 提交；

macOS 应用 15 分钟完成 30 语言打包、近 1000 次发布零出错。

Q: Harness 和 LangGraph / CrewAI / AutoGen 什么关系？

LangGraph 是 agent runtime（低抽象执行引擎），LangChain/CrewAI/AutoGen/OpenAI Agents SDK 是 agent framework（开发者工具箱），Deep Agents/Claude Code/Codex 是 agent harness（开箱即用全套装备）。它们可组合：harness 常构建在 runtime 之上、使用 framework 的工具抽象。不要把它们当同层替代品。

Q: 安全怎么办（prompt injection、凭据）？

原则：凭据永不进入沙箱（git token 初始化注入、OAuth 走 vault 代理）；最小权限 + 工具白名单；关键节点 Hook 校验；全量审计日志；高危操作 HITL 人工确认；环境开发/测试/生产全隔离。这是 Hardening 子方向的核心内容。

Y 推荐文献

X 参考文献

posted @ 2026-08-31 17:10  数据知音  阅读(101)  评论(0)    收藏  举报