向着朝阳 - 博客园

2026年1月14日

摘要：目录一、结论先行（面试版）二、三种方式对比（为什么要结合）1️⃣ 纯人工标注（理论最干净，实际不可规模化）2️⃣ 纯大模型自动标注（快，但风险极高）3️⃣ 工业标准做法：LLM 预标注 + 人工校验（主流）三、工业级混合标注流程（一步一步）Step 1：从生产中捞数据Step 2：大模型做预标注（P 阅读全文

posted @ 2026-01-14 09:44 向着朝阳阅读(80) 评论(0) 推荐(0)

智能客服-用户是否反复问同一个问题计算

摘要：目录一、先明确：这个指标用来干什么二、核心定义（推荐口径）三、工程加工的标准拆解1️⃣ 会话切分（Session / Window）2️⃣ Query 语义归一（非常关键）3️⃣ 相似度判定规则方案 A：Embedding 相似度（主流）方案 B：Intent 级别（更稳）4️⃣ “反复”的判定条件阅读全文

posted @ 2026-01-14 09:01 向着朝阳阅读(16) 评论(0) 推荐(0)

2026年1月13日

上线后智能体准确度评测

摘要：目录一、基本思路二、逐层评测优势三、工业实践注意点四、面试可说版本完全正确，这正是工业智能客服上线后的生产环境准确度评测标准做法，我帮你梳理成完整可执行、面试可说的工业流程：一、基本思路上线后的准确度评测不是用训练/测试集，而是真实生产数据抽样，确保模型在实际业务场景中表现符合要求。主要流程阅读全文

posted @ 2026-01-13 22:47 向着朝阳阅读(16) 评论(0) 推荐(0)

灰度/AB测试监控（高可用2）

摘要：目录一、灰度监控核心目标二、核心业务指标1️⃣ 成交/转化指标2️⃣ 用户行为指标3️⃣ 用户反馈指标三、风险指标四、监控流程1️⃣ 数据收集2️⃣ 指标统计与对比3️⃣ 监控周期4️⃣ 可视化与报警五、面试可说版本完全可以，而且这是工业级智能客服上线灰度最关键的一环：灰度不是只部署新版本，而是验阅读全文

posted @ 2026-01-13 22:40 向着朝阳阅读(18) 评论(0) 推荐(0)

智能客服及时降级策略（高可用1）

摘要：目录面试总结话术模板知识库提示词版本，灰度，路由管理策略一、整体架构思路1️⃣ 提示词存储与管理2️⃣ Python 代码加载逻辑3️⃣ 回滚 & 灰度扩展二、面试可说版本Action降级策略一、核心结论二、Action 分级示例三、工业实践：降级策略设计原则面试总结在工业智能客服系统中，Ac 阅读全文

posted @ 2026-01-13 22:17 向着朝阳阅读(12) 评论(0) 推荐(0)

智能体上线后质量闭环

摘要：目录一、结论先行（非常重要）二、为什么不把“用户行为异常”当成一个普通比例？1️⃣ 因为它们不是“概率事件”，而是“已发生风险”2️⃣ 如果放进比例里，会被严重稀释（这是工业大坑）三、工业里的正确做法：三层抽样结构第一层：事件触发型（不占比例，最高优先）触发条件（你列的全对）：第二层：风险权重抽样（阅读全文

posted @ 2026-01-13 20:21 向着朝阳阅读(18) 评论(0) 推荐(0)

智能体上线和上线后质量闭环

摘要：目录二、工业里的标准做法：上线前 vs 上线后一句话总览三、上线前怎么测（你大概率已经理解的）1️⃣ 事实正确性（Hard Constraint）2️⃣ 业务红线3️⃣ 最小可用门槛四、上线后怎么测（这是面试加分点）null一、什么叫“按风险权重抽样”（先给精确定义）1️⃣ 定义（工业口径）2️⃣ 阅读全文

posted @ 2026-01-13 19:39 向着朝阳阅读(5) 评论(0) 推荐(0)

智能体上线评测指标

摘要：目录一、先给结论：95% ≠ 单一模型 Accuracy二、拆解：95% 通常由哪几层指标共同构成1️⃣ 意图识别层（Routing Accuracy）2️⃣ 事实正确性（Answer Correctness）3️⃣ 业务可接受度（Business Acceptance）4️⃣ 用户行为侧指标（隐式阅读全文

posted @ 2026-01-13 19:23 向着朝阳阅读(33) 评论(0) 推荐(0)

智能体生产关键指标

摘要：目录一、先给总览结论（帮助面试官快速对齐）二、准确率（Accuracy）——只衡量“系统自主承担的正确性”1️⃣ 定义（工业口径）数学表达（简化版）：2️⃣ 关键边界（非常重要）3️⃣ 为什么不能把兜底算进准确率三、覆盖率（Coverage）——系统“敢接”的比例1️⃣ 定义2️⃣ 覆盖率在衡量什么阅读全文

posted @ 2026-01-13 15:36 向着朝阳阅读(35) 评论(0) 推荐(0)

RAG-准确度提升之-前置过滤（3）-A/B测试 T_MULTI / T_MIN / K_MAX微调

摘要：目录一、总体原则（先说清楚，避免踩雷）二、实验分层设计（这是关键）1️⃣ 实验单元2️⃣ 只做「单变量 + 小范围」实验❌ 不要这样✅ 正确方式（推荐顺序）三、具体 A/B 方案设计（可直接用）阶段 1：T_MIN 主锚点阈值实验实验桶设计核心假设阶段 2：K_MAX 语义发散实验阶段 3：T_MU 阅读全文

posted @ 2026-01-13 08:20 向着朝阳阅读(10) 评论(0) 推荐(0)

aibi1

公告