Laminar 拆解:Agent 观测平台卷到了 coding agent 和沙箱评测
Laminar 拆解:Agent 观测平台卷到了 coding agent 和沙箱评测
想知道 2026 年的 Agent 技术栈长什么样,别看趋势报告,看观测平台的集成页。
Laminar 是一个开源的 agent 观测平台,仓库 lmnr-ai/lmnr,2024 年 8 月 29 日建仓,YC S24,TypeScript 写的,Apache-2.0。到 11 月 16 日,它有 3,493 星、263 个 fork、161 个未关闭 issue,今天凌晨还在推送。两年零两个多月摊下来约 4.3 星/天(我算的),不算爆款,但发布节奏很稳:PyPI 上的 lmnr 发了 229 个版本,最新 0.9.1;npm 的 @lmnr-ai/lmnr 是 0.9.4,配套的 lmnr-cli 走到 0.5.7。
它最近值得看的不是哪个新功能,而是集成页。这一页把 32 个集成文档分成六类,六类的名字摆在一起,基本就是当前 agent 栈的分层图。这篇文章顺着这页走一遍,按四件套来:是什么、怎么用、值得学什么、同类怎么选。
本文提纲
- 是什么:OTel-native 的 agent 观测平台
- 怎么用:四条入口,对应四种场景
- 值得学什么:分类法、借道分发、读轨迹不读进程、可逆迁移桥
- 同类比较:Langfuse、Phoenix、Braintrust 怎么选
是什么:OTel-native 的 agent 观测平台
一句话定位:专门面向 agent 的 OpenTelemetry-native 观测平台。它不发明自家的埋点协议,SDK 产出的就是 OTel span,走 GenAI 语义约定;任何会发 OTel 的代码都可以直接指过去,用 @observe 装饰器或手动 span 补自定义函数。这是它和"私有协议"观测产品的分界线,也是后面迁移桥能存在的物理基础。
核心卖点是自动埋点。initialize 一次,之后所有经过被支持 SDK 的调用都自动被记录:prompt、响应、tool calls、token 数、延迟、成本。呈现上有个明确的取舍:span 树告诉你这次 run 的形状,transcript 视图告诉你到底发生了什么。文档里那句原话我觉得可以抄走:"The span tree tells you the shape of the run; the transcript tells you what actually happened."
往上还有两层。Signals 层用自然语言定义失败模式,配一个 JSON 输出结构,官网说背后是自研的 trace 分析模型,对没预定义过的失败自动聚簇;查询层是只读 SQL,编辑器、SQL API、CLI(lmnr-cli sql query)、MCP server 四个入口,最后那个意味着你可以直接在 Claude Code 或 Cursor 里问"昨天哪类任务失败最多"。
集成页的六类长这样:
| 类别 | 数量 | 成员 |
|---|---|---|
| LLM provider SDK | 7 | OpenAI、Anthropic、Gemini、Cohere、LiteLLM、OpenRouter、TypeSafe AI |
| Agent 框架 | 12 | Vercel AI SDK、LangChain/LangGraph、deepagents、Mastra、Pydantic AI、OpenAI Agents SDK、Google ADK、Microsoft Agent Framework、OpenHands SDK、Temporal、eve、Pi Durable |
| Coding agent | 5 | Claude Code、Codex、Pi、OpenCode、Claude Agent SDK |
| 浏览器与 computer-use | 6 | Browser Use、Stagehand、Skyvern、Kernel、Playwright、Puppeteer |
| Eval 框架 | 1 | Harbor |
| 其他平台 | 1 | Langfuse(双写桥) |
四个入口汇聚成一条管道,整体结构是下面这张图:
MERMAID_BLOCK_0
先把丑话说在前面:集成页列的是"有文档",不是"都覆盖到位"。eve 那一页自己写明能采到什么"取决于 eve 的内容设置";清单里 eve、Pi Durable、TypeSafe AI 这类名字都很新,说明这张表跟着 agent 生态走,半年后重看大概率不一样。把它当产品地图用没问题,当兼容性承诺用不行。
怎么用:四条入口,对应四种场景
应用侧:一行 init
Python 是文档里说的那种"single line":
from lmnr import Laminar
from openai import OpenAI
# 这一行之后,所有 OpenAI 调用自动被记录
Laminar.initialize()
client = OpenAI()
prompt、token 用量、成本、延迟全进 trace,发给 vision 模型的图片也自动采。TypeScript 不对等,要显式把模块递进去:
import { Laminar } from '@lmnr-ai/lmnr';
import OpenAI from 'openai';
Laminar.initialize({ instrumentModules: { OpenAI: OpenAI } });
Python 自动发现、TS 要求显式声明,这个不对称值得记一下,迁移时容易踩。TS 侧还支持 OpenAI 的 Decisions API:一次调用问一组 typed 问题(predicates、choices、scores),常用于路由和 guardrails。Python 侧要求 lmnr ≥ 0.7.65 且 openai ≥ 3.26.0,TS 走 AI SDK v7 的 experimental_decide,要求 @lmnr-ai/lmnr ≥ 0.8.50。这类小模型决策会变成独立 span,和它触发的大模型调用摆在同一份 transcript 里,出问题能对得上前后文。
Coding agent 侧:一条命令装插件
npx lmnr-cli@latest plugin add claude-code
这条命令做的事情不少:浏览器 device flow 登录,选一个接收 trace 的项目,铸一把以插件名加机器名命名的 project API key,写进 ~/.config/lmnr/claude-code-plugin.json,最后通过 Claude Code 自己的插件市场装插件。装完每个会话轮次就是一条 trace,LLM 调用、工具执行、subagent 都在里面,按 session 分组。配置是全局的,不碰 .lmnr/project.json 也不碰你的 .env;环境变量 LMNR_PROJECT_API_KEY 和 LMNR_BASE_URL 可以覆盖配置文件。不想用 CLI 也有手动路径:claude plugin marketplace add lmnr-ai/lmnr-claude-code-plugin 加 claude plugin install lmnr@lmnr --scope user,自己写配置。自托管实例用 --frontend-url 和 --base-url 指过去,命令不变。
我的判断:这条入口的门槛设计比功能本身有意思。它把"给开发者自己的开发过程加观测"做成了一条命令,分发借用了宿主 agent 的插件市场,而不是让用户再养一个守护进程。代价是要为每个宿主单独适配,它也确实给 Codex、Pi、OpenCode 各做了一版。
Eval 侧:harbor run 加一个 flag
Harbor 是跑沙箱评测的框架:把 Claude Code、Codex 或你自己的 agent 放到 Terminal-Bench 这类数据集上跑,再用每道题的 verifier 打分。Laminar 给它做了插件,装在 Python SDK 里:
pip install lmnr
harbor run --dataset terminal-bench@2.0 \
--agent claude-code \
--model anthropic/claude-sonnet-5 \
--plugin laminar
两边概念的映射写得清清楚楚:
| Harbor | Laminar |
|---|---|
| Job | 一个 evaluation,job 名和 agent 进元数据 |
| Dataset | 一个 group,同数据集的多次运行画在一张图上对比 |
| Trial | 一个 datapoint |
| Verifier rewards | 分数,每个 reward key 一个 |
| ATIF 轨迹文件 | 回放成 LLM/TOOL span |
最有意思的是最后一行。插件不碰 agent 进程,只读 Harbor 的 trial 结果和 ATIF 格式的轨迹文件(agent/trajectory.json),把每一次模型调用、每个工具调用回放成 span 挂在 trial 下面,subagent 轨迹嵌在启动它的那次工具调用下。因为读的是文件不是进程,TypeScript 写的 agent(Claude Code、Gemini CLI、OpenCode)也能被这个 Python 插件完整上报,语言无关。
细节也交代得诚实:重试的 trial 覆盖同一个 datapoint,只留最后一次;没跑到 verifier 的 trial 记 0 分,和 Harbor 自己的均值口径一致,两边数字不会打架;取消的 trial 打 cancelled 标记;上报 Laminar 出错只记日志不停 Harbor,除非显式设 fail_fast。
要评测自家产品(真实应用跑在容器里、每个 case 灌自己的数据),文档给了 lmnr-cli eval run:它负责构建镜像、用这个插件跑 Harbor,还能把 trial 放到 Laminar 的云沙箱里执行。
顺带一句,上一篇写 NVIDIA SkillEvaluator 时,它 Tier 3 的活体评测跑的也是 Harbor,消费的也是同一份 ATIF 轨迹格式。Harbor 正在变成 agent 评测的公共沙箱层,观测平台专门为它做插件,这个信号值得记下。
已有 Langfuse:双写桥
换观测平台最大的成本是重写埋点,Laminar 把这件事做成了一个选项(TypeScript 形式):
Laminar.initialize({ bridges: ["langfuse"] });
规则是:你现有的 Langfuse observe、OpenAI wrapper、LangChain callback handler 原样不动,Langfuse 照常收到以前的 span,Laminar 拿到自己的副本;删掉这个选项就停,完全可逆。两个实现细节做得讲究。其一,桥接期间 Laminar 关掉自家的 LLM 自动埋点,避免同一次调用被记两遍,只有 Claude Agent SDK 和浏览器录像这两个 Langfuse 覆盖不到的保持开启;其二,两边的 span 会正确互相嵌套,Laminar 的 observe 包住 Langfuse 的函数,在 Laminar 里是父子关系,反过来也是。
文档还自己标注了一个坑:Vercel AI SDK v7 每个后端有独立集成,没副作用;v5/v6 每次调用只发给一个 tracer,如果你既加 LaminarSpanProcessor 又开 bridges,Langfuse SDK 自己的 observation 会未经翻译地到达 Laminar 两遍。迁移期踩这种坑的人不会少,写进文档算是负责任。
自托管一句话带过:Helm 或云托管二选一,SDK 和插件都认 base_url,本地默认 API 端口 8000、gRPC 8001。
值得学什么:四个机制设计
分类法就是产品观
provider SDK、agent 框架、coding agent、browser agent、eval 框架,这五层正好是 2026 年一个 agent 应用从底层调用到质量评测的完整链路。两年前的观测产品只需要覆盖第一层,现在长出了四层,而且每层都有专门的数据形态:coding agent 要 session 视角,browser agent 要录像和 trace 同步(文档的卖点是"拖视频进度条,trace 跟着滚"),eval 要 trial 级回放。Laminar 把这个演进直接写进了文档结构。做基础设施的可以抄这个分类法来审自己的覆盖面:你的产品里,哪一层还没有专门的形态。
借宿主的渠道分发插件
给 Claude Code 装观测,没有发明新的安装协议,直接走 Claude Code 的 plugin marketplace。安装、更新、卸载全部复用宿主既有机制,用户心智负担最低;代价是每个宿主要单独适配,它也认了这笔账,四个 coding agent 各做了一版。配置与项目解耦同样是好品味:全局安装,不动项目目录,钥匙跟机器走。这类"寄生在宿主分发体系里"的思路,比很多工具强推自己的 curl | sh 高明。
读轨迹文件,不读代理进程
Harbor 插件只消费 trial 结果和 ATIF 轨迹文件。这一刀切得聪明:观测侧不需要理解 agent 的运行时,任何语言写的 agent,只要往沙箱里留下标准轨迹文件,就能被完整回放。成本上比"给每种语言的 SDK 都写埋点"便宜一个量级,架构上把评测框架和观测平台解耦成两个可以独立演化的组件。Trajectory-as-artifact 这个模式,我个人认为会成为 agent 工具链的通用接口,就像 container image 之于部署。
迁移桥当一等公民做
Laminar 把"和竞品双跑"做成一个选项:不改代码、对方不受影响、随时可逆,防双记、嵌套保持、版本兼容的坑都写在文档里。这在工程上等价于给"换供应商"提供了灰度方案,把切换成本从"重写"降到"加一行配置再观察两周"。愿意做这种桥的产品,通常对自己和对手的差距心里有数。
同类比较:Langfuse、Phoenix、Braintrust 怎么选
先说口径:这几家没有跑过同一套 benchmark,我只能比定位和机制,不能比性能数字。Langfuse 的信息主要来自 Laminar 自己的桥接文档,对手视角,注意立场;Phoenix 和 Braintrust 我只有公开定位层面的了解,没做实测,以下判断按定性处理。
| 平台 | 起家方向 | 我的口径判断 |
|---|---|---|
| Langfuse | LLM 工程观测:prompt、trace、eval | SDK 已基于 OTel,迁移摩擦小;Laminar 文档声称 Signals 这层(跨 trace 的失败模式统计)是它没有的 |
| Arize Phoenix | OTel-native 的 LLM 追踪与评测 | 与 Laminar 同走 OTel 路线,重心在通用 tracing 与 evals,coding agent 这类专门形态少一些 |
| Braintrust | 评测平台:evals、logging、playground | 重心在评测而非持续观测,观测是配套 |
| Laminar | agent 观测:transcript、Signals | 集成面直接覆盖 coding agent、browser agent、Harbor 沙箱评测,查询侧给了 SQL、CLI 和 MCP server |
选型上我的判断:已经在 Langfuse 上深度投入的,先用双写桥跑两周,看 transcript 视图和 Signals 对你有没有增量,再决定动不动埋点,这是成本最低的路径。从零开始、且观测对象包括 coding agent 或浏览器 agent 的,Laminar 这份集成清单更贴 2026 年的 agent 栈。核心诉求是评测排行的,Harbor 配 Braintrust 一类更对口,持续观测只是辅助。要求私有化部署的,Laminar 有 Helm 图表,Langfuse 也支持自托管,两家都走得通,差别回到集成面。
参考文档与链接
- GitHub: lmnr-ai/lmnr — 主仓库,Apache-2.0,TypeScript,3,493 星 / 263 fork(2026-11-16 GitHub API 快照)
- 集成页总览 — 本文入口,32 个集成文档分六类
- OpenAI 集成 — 一行 init 与 Decisions API 的版本要求
- Claude Code 集成 — 插件安装流程、配置文件与自托管参数
- Harbor 集成 — Job/Trial 映射、ATIF 回放与计数口径
- Langfuse 桥 — 双写、防双记与 AI SDK v5/v6 的坑
- eve 集成 — durable agent 的采集范围说明
- Signals 介绍 — 自然语言定义失败模式与聚簇
- SQL editor — 跨 trace 的只读 SQL,编辑器/API/CLI/MCP 四入口
- trace 视图 — transcript 与 span 树的关系
- observe 装饰器 — 自定义函数的手动埋点
- PyPI: lmnr — 0.9.1,共 229 个版本
- npm: @lmnr-ai/lmnr — 0.9.4
- lmnr-claude-code-plugin 仓库 — Claude Code 插件市场来源
- Harbor 框架 — 沙箱评测框架官网
- ATIF 轨迹规范 — Harbor 插件回放的数据格式
- 上一篇:SkillEvaluator 拆解 — 同样以 Harbor 为活体评测底座
你现在用什么观测自己的 agent?还是说 agent 跑在生产上,出了问题只能等用户来报?评论区聊聊。觉得有用点个赞。
作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/
关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top
本文首发于 AI人工智能时代,转载请注明出处。

浙公网安备 33010602011771号