大模型微调中的熵崩塌
“熵崩塌”(Entropy Collapse)是近年来在 大模型训练(尤其是语言模型、生成模型) 中越来越常被提及的一个问题。它通常描述了一种模型在训练后 丧失多样性与信息熵降低 的现象,使得生成结果趋于单调、无创意、模式固定。下面我为你系统性地讲解:
🧩 一、什么是熵崩塌(Entropy Collapse)
1. 熵的含义
在信息论和概率论中,信息熵(Entropy) 衡量的是系统的不确定性或多样性。
对一个模型输出分布 P(x)P(x),其熵定义为:
高熵意味着多样性强、不确定性高;
低熵意味着输出集中、单调、缺乏变化。
2. 熵崩塌的定义
熵崩塌 指的是在训练或后期优化过程中,模型的输出分布熵明显降低,表现为:
- 模型对输入的响应趋于雷同;
- 输出缺乏多样性;
- 学到的概率分布过度集中特定模式(例如高频token);
- 在语言模型中表现为生成“千篇一律的句式”,在视觉模型中表现为“统一画风”或“模式固化”。
简而言之:
模型学会了“只说一种话”或“只画一种图”。
⚙️ 二、熵崩塌的常见来源
1. 训练目标过于单一
- 若模型使用了 过于集中的训练数据(例如来自某个风格的语料),
它会内化这种分布偏差,长期训练导致输出分布单调。
2. 过度正则化或过强损失约束
- 比如在RLHF(强化学习对齐)阶段,若奖励模型只偏好某种“安全回复”或“礼貌句式”,
模型逐渐舍弃多样性 → 熵下降。
3. 模式坍塌 (Mode Collapse) 的特例
- 与GAN中“模式坍塌”类似:生成模型只能输出少数几种样本,而不会探索全部“模态”。
熵崩塌可看作信息论意义下的模式坍塌。
4. 过多基于自我蒸馏的训练
- 自蒸馏(Self-distillation)或“模型微调自身生成结果”的过程,若不加噪声或多样性约束,
会使模型“强化自己的偏见”,使输出更加收敛。
🔬 三、语言模型中的熵崩塌体现
表格
举个例子:
原始模型可能输出同义句多样的回答,
对齐微调后只输出:“作为一个AI,我不能……”。
🔧 四、应对熵崩塌的策略
1. 引入熵正则化
在损失函数中加入熵项约束,鼓励模型保持高信息熵分布:
L=Ltask−λH(Pθ(x∣y))L=Ltask−λH(Pθ(x∣y))其中 λλ 控制多样性权重。
2. 多样性采样机制
在推理阶段通过:
- Top-k、Top-p (Nucleus) 采样;
- 温度调节 (T>1T>1 提升熵)。
3. 奖励模型多样性正则
在RLHF中加入对于输出熵、句式新颖性的奖励,
如在奖励函数中增加一项:
4. 跨分布再训练(Cross-domain Fine-tuning)
周期性使用不同数据源的再训练,防止模型分布塌缩。
🧠 五、总结
表格