标签化处理方案

目录

• 刚上线
• 成熟业务
  • 增强方案 - 小模型改成 -- 2个小模型投票
• 2个小模型投票

“‘通用大模型做冷启动’意思是：当新业务、长尾场景或数据缺乏时，我们用大模型对这些新 query 或文档进行自动标签或实体抽取，再经人工复核生成训练集，微调小模型上线。这样可以在最短时间内让小模型覆盖新业务，实现系统快速上线和高并发处理。”

刚上线

新业务上线
     │
     ▼
通用大模型预测
（自动生成标签 / 抽取实体）
     │
     ▼
人工快速复核（后训练）
（只复核低置信度或长尾）
     │
     ▼
生成初始训练集
     │
     ▼
微调 MiniLM
     │
     ▼
小模型上线处理高并发

成熟业务

用户 query
   │
   ▼
MiniLM 标签分类（主干，高速稳定）
   │
   ├─ 高置信度 → 直接用于 RAG 过滤
   │
   └─ 低置信度 / 不一致
           ▼
     通用大模型
     - 实体 / 标签抽取
     - 复杂语义理解
           │
           ▼
     人工或规则确认（生产的后训练，或者后台导入知识库的人工复核）
           │
           ▼
     反哺训练集

增强方案 - 小模型改成 -- 2个小模型投票

用户 query
   │
   ▼
MiniLM 1 + MiniLM 2  → 投票机制
   │
   ├─ 两者一致 → 高置信度 → 自动处理 / RAG 查询
   │
   └─ 不一致 → 低置信度 → LLM 兜底
           │
           ▼
      人工复核
           │
           ▼
     回流训练集 → 微调 MiniLM

2个小模型投票

模型能力提升（降低预测错误概率）
方法：

1. 定期微调 / 增量训练
   • 收集抽查或用户反馈的错误样本 → 重新训练 MiniLM
   • LoRA 微调可快速增量更新，不影响原模型
2. 多标签分类 + 置信度输出
   • MiniLM 输出每个标签概率
   • 对低置信度 query → 自动标记为“需复核”
   • 可以用 阈值策略过滤低置信度预测，减少误分类直接进入 RAG
3. 模型集成 / 投票机制
   • 同时用两个小模型分类 （ MiniLM + TinyBERT）→ 仅当两者一致时直接使用
   • 不一致 → 人工复核。

两个小模型训练数据需要做差异化处理
方式一：数据子集差异（最常见）
MiniLM：D 的 100%，但对「售后类」样本加权
TinyBERT：D 的 100%，但对「销售类 / 关键词明显」样本加权

方式二：长尾增强差异（效果很好）
MiniLM：加入更多 语义 paraphrase 的长尾样本
TinyBERT：保留原始、关键词更明显的 query

“loss 不只是衡量预测与标签的差异，而是一个人为设计的错误代价函数。通过样本或类别加权，我们可以让某些业务关键错误产生更大的惩罚，从而在反向传播时放大梯度，引导模型优先修正这些高风险场景。这在 LoRA 等参数受限的微调场景中特别重要。”