摘要:
赋予部署的应用和服务可观测性已经是一个基本的需求,在这方面,`OpenTelemetry`无疑已经称为了事实上的标准。`OpenTelemetryChatClient`是一个预定义的`IChatClient`中间件,它利用重写的`GetResponseAsync`和`GetResponseStreamAsync`方法,为LLM的调用添加了对于的链路和性能计数的输出。结合`OpenTelemetry`框架,开发者可以轻松地将这些数据发送到各种后端系统,如`Prometheus`、`Jaeger`等,以实现对LLM调用的深入分析和监控。本篇文件通过一个简单的例子在本地搭建一个这样的监控环境,展示针对Agent调用的链路跟踪和性能指标。 阅读全文
posted @ 2026-06-12 08:25
Artech
阅读(157)
评论(0)
推荐(3)


浙公网安备 33010602011771号