Laminar 拆解:Agent 观测平台卷到了 coding agent 和沙箱评测

Laminar 拆解:Agent 观测平台卷到了 coding agent 和沙箱评测

想知道 2026 年的 Agent 技术栈长什么样,别看趋势报告,看观测平台的集成页。

Laminar 是一个开源的 agent 观测平台,仓库 lmnr-ai/lmnr,2024 年 8 月 29 日建仓,YC S24,TypeScript 写的,Apache-2.0。到 11 月 16 日,它有 3,493 星、263 个 fork、161 个未关闭 issue,今天凌晨还在推送。两年零两个多月摊下来约 4.3 星/天(我算的),不算爆款,但发布节奏很稳:PyPI 上的 lmnr 发了 229 个版本,最新 0.9.1;npm 的 @lmnr-ai/lmnr 是 0.9.4,配套的 lmnr-cli 走到 0.5.7。

它最近值得看的不是哪个新功能,而是集成页。这一页把 32 个集成文档分成六类,六类的名字摆在一起,基本就是当前 agent 栈的分层图。这篇文章顺着这页走一遍,按四件套来:是什么、怎么用、值得学什么、同类怎么选。

本文提纲

  1. 是什么:OTel-native 的 agent 观测平台
  2. 怎么用:四条入口,对应四种场景
  3. 值得学什么:分类法、借道分发、读轨迹不读进程、可逆迁移桥
  4. 同类比较:Langfuse、Phoenix、Braintrust 怎么选

是什么:OTel-native 的 agent 观测平台

一句话定位:专门面向 agent 的 OpenTelemetry-native 观测平台。它不发明自家的埋点协议,SDK 产出的就是 OTel span,走 GenAI 语义约定;任何会发 OTel 的代码都可以直接指过去,用 @observe 装饰器或手动 span 补自定义函数。这是它和"私有协议"观测产品的分界线,也是后面迁移桥能存在的物理基础。

核心卖点是自动埋点。initialize 一次,之后所有经过被支持 SDK 的调用都自动被记录:prompt、响应、tool calls、token 数、延迟、成本。呈现上有个明确的取舍:span 树告诉你这次 run 的形状,transcript 视图告诉你到底发生了什么。文档里那句原话我觉得可以抄走:"The span tree tells you the shape of the run; the transcript tells you what actually happened."

往上还有两层。Signals 层用自然语言定义失败模式,配一个 JSON 输出结构,官网说背后是自研的 trace 分析模型,对没预定义过的失败自动聚簇;查询层是只读 SQL,编辑器、SQL API、CLI(lmnr-cli sql query)、MCP server 四个入口,最后那个意味着你可以直接在 Claude Code 或 Cursor 里问"昨天哪类任务失败最多"。

集成页的六类长这样:

类别 数量 成员
LLM provider SDK 7 OpenAI、Anthropic、Gemini、Cohere、LiteLLM、OpenRouter、TypeSafe AI
Agent 框架 12 Vercel AI SDK、LangChain/LangGraph、deepagents、Mastra、Pydantic AI、OpenAI Agents SDK、Google ADK、Microsoft Agent Framework、OpenHands SDK、Temporal、eve、Pi Durable
Coding agent 5 Claude Code、Codex、Pi、OpenCode、Claude Agent SDK
浏览器与 computer-use 6 Browser Use、Stagehand、Skyvern、Kernel、Playwright、Puppeteer
Eval 框架 1 Harbor
其他平台 1 Langfuse(双写桥)

四个入口汇聚成一条管道,整体结构是下面这张图:

MERMAID_BLOCK_0

先把丑话说在前面:集成页列的是"有文档",不是"都覆盖到位"。eve 那一页自己写明能采到什么"取决于 eve 的内容设置";清单里 eve、Pi Durable、TypeSafe AI 这类名字都很新,说明这张表跟着 agent 生态走,半年后重看大概率不一样。把它当产品地图用没问题,当兼容性承诺用不行。

怎么用:四条入口,对应四种场景

应用侧:一行 init

Python 是文档里说的那种"single line":

from lmnr import Laminar
from openai import OpenAI

# 这一行之后,所有 OpenAI 调用自动被记录
Laminar.initialize()

client = OpenAI()

prompt、token 用量、成本、延迟全进 trace,发给 vision 模型的图片也自动采。TypeScript 不对等,要显式把模块递进去:

import { Laminar } from '@lmnr-ai/lmnr';
import OpenAI from 'openai';

Laminar.initialize({ instrumentModules: { OpenAI: OpenAI } });

Python 自动发现、TS 要求显式声明,这个不对称值得记一下,迁移时容易踩。TS 侧还支持 OpenAI 的 Decisions API:一次调用问一组 typed 问题(predicates、choices、scores),常用于路由和 guardrails。Python 侧要求 lmnr ≥ 0.7.65 且 openai ≥ 3.26.0,TS 走 AI SDK v7 的 experimental_decide,要求 @lmnr-ai/lmnr ≥ 0.8.50。这类小模型决策会变成独立 span,和它触发的大模型调用摆在同一份 transcript 里,出问题能对得上前后文。

Coding agent 侧:一条命令装插件

npx lmnr-cli@latest plugin add claude-code

这条命令做的事情不少:浏览器 device flow 登录,选一个接收 trace 的项目,铸一把以插件名加机器名命名的 project API key,写进 ~/.config/lmnr/claude-code-plugin.json,最后通过 Claude Code 自己的插件市场装插件。装完每个会话轮次就是一条 trace,LLM 调用、工具执行、subagent 都在里面,按 session 分组。配置是全局的,不碰 .lmnr/project.json 也不碰你的 .env;环境变量 LMNR_PROJECT_API_KEY 和 LMNR_BASE_URL 可以覆盖配置文件。不想用 CLI 也有手动路径:claude plugin marketplace add lmnr-ai/lmnr-claude-code-plugin 加 claude plugin install lmnr@lmnr --scope user,自己写配置。自托管实例用 --frontend-url 和 --base-url 指过去,命令不变。

我的判断:这条入口的门槛设计比功能本身有意思。它把"给开发者自己的开发过程加观测"做成了一条命令,分发借用了宿主 agent 的插件市场,而不是让用户再养一个守护进程。代价是要为每个宿主单独适配,它也确实给 Codex、Pi、OpenCode 各做了一版。

Eval 侧:harbor run 加一个 flag

Harbor 是跑沙箱评测的框架:把 Claude Code、Codex 或你自己的 agent 放到 Terminal-Bench 这类数据集上跑,再用每道题的 verifier 打分。Laminar 给它做了插件,装在 Python SDK 里:

pip install lmnr
harbor run --dataset terminal-bench@2.0 \
  --agent claude-code \
  --model anthropic/claude-sonnet-5 \
  --plugin laminar

两边概念的映射写得清清楚楚:

Harbor Laminar
Job 一个 evaluation,job 名和 agent 进元数据
Dataset 一个 group,同数据集的多次运行画在一张图上对比
Trial 一个 datapoint
Verifier rewards 分数,每个 reward key 一个
ATIF 轨迹文件 回放成 LLM/TOOL span

最有意思的是最后一行。插件不碰 agent 进程,只读 Harbor 的 trial 结果和 ATIF 格式的轨迹文件(agent/trajectory.json),把每一次模型调用、每个工具调用回放成 span 挂在 trial 下面,subagent 轨迹嵌在启动它的那次工具调用下。因为读的是文件不是进程,TypeScript 写的 agent(Claude Code、Gemini CLI、OpenCode)也能被这个 Python 插件完整上报,语言无关。

细节也交代得诚实:重试的 trial 覆盖同一个 datapoint,只留最后一次;没跑到 verifier 的 trial 记 0 分,和 Harbor 自己的均值口径一致,两边数字不会打架;取消的 trial 打 cancelled 标记;上报 Laminar 出错只记日志不停 Harbor,除非显式设 fail_fast。

要评测自家产品(真实应用跑在容器里、每个 case 灌自己的数据),文档给了 lmnr-cli eval run:它负责构建镜像、用这个插件跑 Harbor,还能把 trial 放到 Laminar 的云沙箱里执行。

顺带一句,上一篇写 NVIDIA SkillEvaluator 时,它 Tier 3 的活体评测跑的也是 Harbor,消费的也是同一份 ATIF 轨迹格式。Harbor 正在变成 agent 评测的公共沙箱层,观测平台专门为它做插件,这个信号值得记下。

已有 Langfuse:双写桥

换观测平台最大的成本是重写埋点,Laminar 把这件事做成了一个选项(TypeScript 形式):

Laminar.initialize({ bridges: ["langfuse"] });

规则是:你现有的 Langfuse observe、OpenAI wrapper、LangChain callback handler 原样不动,Langfuse 照常收到以前的 span,Laminar 拿到自己的副本;删掉这个选项就停,完全可逆。两个实现细节做得讲究。其一,桥接期间 Laminar 关掉自家的 LLM 自动埋点,避免同一次调用被记两遍,只有 Claude Agent SDK 和浏览器录像这两个 Langfuse 覆盖不到的保持开启;其二,两边的 span 会正确互相嵌套,Laminar 的 observe 包住 Langfuse 的函数,在 Laminar 里是父子关系,反过来也是。

文档还自己标注了一个坑:Vercel AI SDK v7 每个后端有独立集成,没副作用;v5/v6 每次调用只发给一个 tracer,如果你既加 LaminarSpanProcessor 又开 bridges,Langfuse SDK 自己的 observation 会未经翻译地到达 Laminar 两遍。迁移期踩这种坑的人不会少,写进文档算是负责任。

自托管一句话带过:Helm 或云托管二选一,SDK 和插件都认 base_url,本地默认 API 端口 8000、gRPC 8001。

值得学什么:四个机制设计

分类法就是产品观

provider SDK、agent 框架、coding agent、browser agent、eval 框架,这五层正好是 2026 年一个 agent 应用从底层调用到质量评测的完整链路。两年前的观测产品只需要覆盖第一层,现在长出了四层,而且每层都有专门的数据形态:coding agent 要 session 视角,browser agent 要录像和 trace 同步(文档的卖点是"拖视频进度条,trace 跟着滚"),eval 要 trial 级回放。Laminar 把这个演进直接写进了文档结构。做基础设施的可以抄这个分类法来审自己的覆盖面:你的产品里,哪一层还没有专门的形态。

借宿主的渠道分发插件

给 Claude Code 装观测,没有发明新的安装协议,直接走 Claude Code 的 plugin marketplace。安装、更新、卸载全部复用宿主既有机制,用户心智负担最低;代价是每个宿主要单独适配,它也认了这笔账,四个 coding agent 各做了一版。配置与项目解耦同样是好品味:全局安装,不动项目目录,钥匙跟机器走。这类"寄生在宿主分发体系里"的思路,比很多工具强推自己的 curl | sh 高明。

读轨迹文件,不读代理进程

Harbor 插件只消费 trial 结果和 ATIF 轨迹文件。这一刀切得聪明:观测侧不需要理解 agent 的运行时,任何语言写的 agent,只要往沙箱里留下标准轨迹文件,就能被完整回放。成本上比"给每种语言的 SDK 都写埋点"便宜一个量级,架构上把评测框架和观测平台解耦成两个可以独立演化的组件。Trajectory-as-artifact 这个模式,我个人认为会成为 agent 工具链的通用接口,就像 container image 之于部署。

迁移桥当一等公民做

Laminar 把"和竞品双跑"做成一个选项:不改代码、对方不受影响、随时可逆,防双记、嵌套保持、版本兼容的坑都写在文档里。这在工程上等价于给"换供应商"提供了灰度方案,把切换成本从"重写"降到"加一行配置再观察两周"。愿意做这种桥的产品,通常对自己和对手的差距心里有数。

同类比较:Langfuse、Phoenix、Braintrust 怎么选

先说口径:这几家没有跑过同一套 benchmark,我只能比定位和机制,不能比性能数字。Langfuse 的信息主要来自 Laminar 自己的桥接文档,对手视角,注意立场;Phoenix 和 Braintrust 我只有公开定位层面的了解,没做实测,以下判断按定性处理。

平台 起家方向 我的口径判断
Langfuse LLM 工程观测:prompt、trace、eval SDK 已基于 OTel,迁移摩擦小;Laminar 文档声称 Signals 这层(跨 trace 的失败模式统计)是它没有的
Arize Phoenix OTel-native 的 LLM 追踪与评测 与 Laminar 同走 OTel 路线,重心在通用 tracing 与 evals,coding agent 这类专门形态少一些
Braintrust 评测平台:evals、logging、playground 重心在评测而非持续观测,观测是配套
Laminar agent 观测:transcript、Signals 集成面直接覆盖 coding agent、browser agent、Harbor 沙箱评测,查询侧给了 SQL、CLI 和 MCP server

选型上我的判断:已经在 Langfuse 上深度投入的,先用双写桥跑两周,看 transcript 视图和 Signals 对你有没有增量,再决定动不动埋点,这是成本最低的路径。从零开始、且观测对象包括 coding agent 或浏览器 agent 的,Laminar 这份集成清单更贴 2026 年的 agent 栈。核心诉求是评测排行的,Harbor 配 Braintrust 一类更对口,持续观测只是辅助。要求私有化部署的,Laminar 有 Helm 图表,Langfuse 也支持自托管,两家都走得通,差别回到集成面。

参考文档与链接

你现在用什么观测自己的 agent?还是说 agent 跑在生产上,出了问题只能等用户来报?评论区聊聊。觉得有用点个赞。


作者: itech001
来源: 公众号:AI人工智能时代(the-ai-era)
网站: https://www.theaiera.top/
关注每日最新AI新闻和技术博客,主页有更多的文章的AI 技术参考:https://www.theaiera.top

本文首发于 AI人工智能时代,转载请注明出处。

posted @ 2026-11-17 21:27  iTech  阅读(3)  评论(0)    收藏  举报