问题样本是否可以晋升为基线的指标
你的理解方向是对的，但如果在面试或工程设计里只说“问题变少了，就算解决”，会显得判定标准偏软。工业上通常是“问题标签 + 指标验证 + 版本对照 + 人工复核”的组合判定，而不是单一信号。
我按可落地的工业流程给你完整拆解。
一、先给结论（核心判断逻辑）
问题样本是否可以晋升为基线，不是靠“感觉”，而是靠：
1️⃣ 问题被明确分类和标签化
2️⃣ 微调后，该问题标签的发生率在对照版本中显著下降
3️⃣ 没有引入新的 Risk / Reject / 投诉
4️⃣ 关键样本经过人工复核确认“行为正确且可复用”
满足这些条件，问题样本才会被有条件地提升为基线样本。
二、第一步：问题一定要“被结构化”（你说的标签是对的）
1️⃣ 质检阶段不是只打 Accept / Reject
在工业里，Reject / Risk 一定要继续细分问题类型。
常见问题标签（示例）：
| 维度 | 示例 |
|---|---|
| 行为错误 | 错误承诺 / 错误引导 |
| 话术问题 | 过度营销 / 语气不当 |
| 能力缺失 | 无法回答 / 知识缺失 |
| 策略偏差 | 过早 CTA / 错阶段推进 |
| 风控问题 | 违规边界 / 敏感承诺 |
没有问题标签，就无法判断“是否被学会”。
2️⃣ 问题标签 ≠ intent / phase
这是一个常见误区。
- intent / phase：描述用户在干什么
- 问题标签：描述模型错在哪里
这两套标签必须并存。
三、第二步：问题样本进入“问题池”，并绑定标签
每条问题样本至少有：
problem_type（问题大类）problem_subtype（可选）risk_levelfirst_seen_version
例如：
problem_type = "wrong_objection_handling"
risk_level = "medium"
first_seen_version = v1.3
这样你才能在后续说：
“v1.3 之后，这类问题是否被解决？”
四、第三步：微调后，用“对照指标”验证是否真的解决
1️⃣ 不是看“总 Reject 少了多少”
而是看：
“某一类问题标签，在新版本中是否显著下降”
典型做法：
| 指标 | 说明 |
|---|---|
| Problem Rate | 某问题标签 / 总会话 |
| Delta | 新旧版本对比 |
| Sample Size | 是否有统计意义 |
例如：
wrong_objection_handling:
v1.3: 1.8%
v1.4 (LoRA): 0.4%
下降 77%
这已经是一个强信号。
2️⃣ 必须是“版本对照”
工业上一定是：
- 同期
- 同流量
- 灰度 or AB
否则容易被“流量结构变化”误导。
五、第四步：验证“没有副作用”（非常关键）
这一步很多团队会漏掉，但你说出来就是高级。
常见副作用检查项：
| 项目 | 为什么 |
|---|---|
| 新 Risk / Reject 上升 | 行为被拉歪 |
| 转人工率异常 | 模型变保守 |
| CTA 下降 | 销售能力被削弱 |
| 用户点踩上升 | 体验变差 |
解决了一个问题，但引入另一个问题，是不能进基线的。
六、第五步：人工复核（不是全量，是“关键样本”）
即使指标很好，也不会全自动并入基线。
通常会：
-
抽取该问题标签下的代表样本
-
人工确认：
- 回答是否“业务上正确”
- 是否具备“长期复用价值”
- 是否依赖临时策略
通过后，才会打标：
baseline_candidate = true
七、第六步：分级晋升，而不是一步到位
这是工业上非常稳妥的做法。
| 状态 | 含义 |
|---|---|
| problem_sample | 原始问题样本 |
| candidate_baseline | 已验证，待观察 |
| secondary_baseline | 次级基线 |
| core_baseline | 长期稳定核心 |
问题样本通常先进入 secondary baseline，不会直接进 core。
八、回到你的原始问题：你那句话怎么“工业化升级”
你原来的理解是：
当某类问题标签越来越少，就判断问题已经解决
工业化表述应升级为：
问题样本在被明确分类和标签化后，参与 LoRA 微调；当新版本上线后，该问题标签在对照流量中显著下降，且未引入新的风险或副作用，并经人工复核确认行为正确可复用，才会被提升为新的基线样本。
这句话在面试里是完全站得住的。
九、面试官如果继续追问（你可以这样答）
Q：那是不是所有问题解决了都要进基线？
不是。
一次性、临时策略、规则兜底类问题不会进入核心基线，只会作为对抗样本或低权重样本保留。
Q：怎么防止基线越来越大？
通过分级基线、版本化和定期清理，低价值或过期样本会被降级或移出核心基线。
十、一句话总结（强烈建议背）
当前周期问题样本是否晋升为基线，不取决于“有没有修”，而取决于是否被稳定学会、是否可长期复用、以及是否没有引入副作用，这需要问题标签、对照指标和人工复核共同验证。
如果你愿意，我可以下一步直接帮你设计：
- 问题标签体系（可直接用）
- 问题 → 基线的状态流转图
- 用于 BI 的问题解决率指标定义
你选哪一个？
浙公网安备 33010602011771号