Opik：开源大模型可观测与评估平台

摘要

Opik 是 Comet 团队开源的一站式 LLM 应用可观测、评估与优化平台，覆盖从原型到生产的全生命周期。无论是 RAG 问答、代码助手还是复杂的 Agent 系统，Opik 都能提供完整的调用链路追踪、自动化评估以及提示词/工具的自动优化能力，让开发者不再靠"猜"来判断模型效果好坏。项目已支持 40M+/天 的生产级追踪量，并原生集成了数十种主流 LLM 框架。

核心优势

• 全链路追踪：自动记录每一次 LLM 调用、对话与 Agent 行为的详细上下文，开发和生产环境都能用。
• 框架集成广泛：原生支持 LangChain、LlamaIndex、CrewAI、AutoGen、Google ADK、OpenAI Agents、Vercel AI SDK 等近 50 个框架，接入成本极低。
• LLM-as-a-Judge 评估体系：内置幻觉检测、内容审核、RAG 答案相关性 / 上下文精确度等评估指标，可直接跑在 PyTest / CI-CD 流水线里。
• 生产级监控：Dashboard 实时查看反馈分数、调用量与 Token 消耗，还支持"在线评估规则"自动发现线上问题。
• Agent 优化与 Guardrails：自带 Prompt/Agent 优化器和安全护栏能力，帮助持续改进并守住生产环境的安全底线。
• 部署灵活：既可以直接用托管版 Comet 账号零配置接入，也能用 ./opik.sh 一键在 Docker 或 Kubernetes 里自托管，完全掌控数据。

面向人群

• 正在把 LLM 应用从原型推向生产、需要可观测性和评估手段的开发者
• 维护 RAG 系统、Agent 编排框架，想要量化"答得好不好"的团队
• 需要把模型评估纳入 CI/CD、避免 Prompt 改动导致效果回退的工程团队
• 关注 AI 应用安全合规、需要 Guardrails 能力的团队

快速上手

方式一：托管版（零配置）

直接注册 Comet 账号，几分钟内即可开始使用 Opik，无需维护任何基础设施。

方式二：本地自托管（Docker）

# 克隆仓库
git clone https://github.com/comet-ml/opik.git
cd opik

# 启动 Opik 全套服务
./opik.sh

# 只启动基础设施（数据库、缓存等）
./opik.sh --infra

# 启动基础设施 + 后端服务
./opik.sh --backend

# 附加 Guardrails 能力
./opik.sh --guardrails

启动完成后访问 localhost:5173 即可打开控制台。

安装 Python SDK 并配置

pip install opik
# 或
uv pip install opik

# 交互式配置（自托管地址，或 Comet.com 的 API Key/Workspace）
opik configure

记录第一条 Trace

import opik

opik.configure(use_local=True)  # 本地自托管模式

@opik.track
def my_llm_function(user_question: str) -> str:
    # 这里换成你自己的 LLM 调用逻辑
    return "Hello"

@opik.track 装饰器可以嵌套使用，自动串联起整个调用链路，也可以直接搭配任意一个官方集成使用，无需手动埋点。

进阶用法

用 LLM-as-a-Judge 做评估

from opik.evaluation.metrics import Hallucination

metric = Hallucination()
score = metric.score(
    input="What is the capital of France?",
    output="Paris",
    context=["France is a country in Europe."]
)
print(score)

接入 CI/CD

Opik 提供 PyTest 集成，可以把评估直接跑在流水线里，Prompt 或模型一改动就能立刻知道效果有没有变差，避免"改了半天不知道是变好还是变坏"的窘境。

规模化部署

生产环境可以用 Helm Chart 部署到 Kubernetes，配合 Dashboard 和在线评估规则，持续监控线上流量的反馈分数与异常情况，把评估能力从"开发阶段一次性检查"变成"生产环境持续把关"。

Opik 目前支持 Python、TypeScript、Ruby（通过 OpenTelemetry）等多语言 SDK，文档和集成列表还在持续扩充，是目前开源 LLM 可观测赛道里生态最完整的选择之一。