向着朝阳 - 博客园

2025年12月23日

摘要：目录一句话结论（先给你一个可长期使用的判断）一、用最底层视角看：控制权在哪里二、从“因果责任”看本质区别（非常关键）强化学习在做什么Judge + 离线评估在做什么三、一个决定性的技术差异：反事实（Counterfactual）强化学习必须回答的问题基于 Judge 的离线评估刻意回避这个问题四、阅读全文

posted @ 2025-12-23 08:34 向着朝阳阅读(37) 评论(0) 推荐(0)

智能销售助手评测方案

摘要：目录准确度评测使用离线测试集+规则其他评测场景 LLM as Judge一、先给你一句总判断二、为什么 Coordinator 不适合 LLM as Judge三、那 LLM as Judge 用在“智能销售助手”的哪里？场景一：销售话术质量评估（最核心）典型问题人类判断标准（不可规则化）示例LL 阅读全文

posted @ 2025-12-23 07:36 向着朝阳阅读(41) 评论(0) 推荐(0)

2025年12月22日

@observe踩坑

摘要：目录结论（非常明确）为什么你“手动写 + return 前写”仍然无效一、你现在的代码「本身是正确的」二、真正的原因：Langfuse 的 span finalize 逻辑关键事实 1：capture_output 是一个「强语义开关」关键事实 2：finalize 阶段会“归一化 span 状态” 阅读全文

posted @ 2025-12-22 23:15 向着朝阳阅读(31) 评论(0) 推荐(0)

不要滥用flush

摘要：目录一、最大隐患：flush() 的使用时机 ❗❗❗你现在的代码问题是什么可能导致的后果✅ 正确做法（强烈推荐）二、语义隐患：你在用 span，但心里想的是 traceLangfuse 的层级语义更稳妥的命名与定位三、flush 粒度隐患（性能问题）后果这是一个非常好的问题，而且你这段代码已经明显阅读全文

posted @ 2025-12-22 22:30 向着朝阳阅读(13) 评论(0) 推荐(0)

langfuse Coordinator 决策评测规范

摘要：目录Coordinator 决策评测Langfuse Trace Contract v1.0一、层级与生命周期规范（必须遵守）1️⃣ Trace（一次测试用例 / 用户请求）2️⃣ Chain（一个 Agent 的完整决策）3️⃣ Span（可选）二、Input Contract（评测 Ground 阅读全文

posted @ 2025-12-22 22:21 向着朝阳阅读(16) 评论(0) 推荐(0)

langgraph 配合langfuse 评测代码改动

摘要： 1️⃣ input 通常记录函数处理的上下文或前置条件，包括： test_id 用户输入（user_input / user_message）历史对话 messages dataset 中的期望值（expected_intent、expected_agent、expected_action）这里阅读全文

posted @ 2025-12-22 20:35 向着朝阳阅读(147) 评论(0) 推荐(0)

Agent扩展设计--action设计

摘要：目录action vs expected_action意图 VS action VS objection一个意图多action的例子场景：PRICE_QUERY（价格相关意图）用户原始意图（不变）上下文变量（决定 action 的关键）一、不同上下文 → 不同 action（业务视角）情况 1：只问阅读全文

posted @ 2025-12-22 15:39 向着朝阳阅读(19) 评论(0) 推荐(0)

数据集（dataset）设计

摘要：目录一、推荐的数据结构（JSON）二、三条 Dataset 示例1️⃣ INVENTORY_CHECK（库存查询）2️⃣ PRICE_QUERY（价格查询）3️⃣ ORDER_QUERY（订单查询）三、如何与 Langfuse Trace 绑定（关键）四、这 3 条数据能评测什么？下一步建议（很重要阅读全文

posted @ 2025-12-22 15:23 向着朝阳阅读(31) 评论(0) 推荐(0)

langfuse 用法

摘要：目录@observe 用法as_typeSpan：Chain：capture_input，capture_output @observe 用法 as_type 在 Langfuse 中，chain 和 span 都是用于追踪应用逻辑的观测类型（observation），但它们在 UI 展示和数据模型阅读全文

posted @ 2025-12-22 11:05 向着朝阳阅读(153) 评论(0) 推荐(0)

大团队架构师职责

摘要：目录一、先给结论（读书笔记一句话版）二、为什么“架构师”和 TL 会天然重叠三、现代团队中“正确的架构师”在做什么1. 关注“结构性、长期、不可逆”的决策2. 作为“架构一致性的守门人”3. 把“隐性复杂度”显性化4. 架构师的产出不是“图”，而是“约束”四、TL 在现代团队中的“不可替代职责”TL 阅读全文

posted @ 2025-12-22 09:24 向着朝阳阅读(13) 评论(0) 推荐(0)

aibi1

公告