大模型微调中的熵崩塌

“熵崩塌”(Entropy Collapse)是近年来在 大模型训练(尤其是语言模型、生成模型) 中越来越常被提及的一个问题。它通常描述了一种模型在训练后 丧失多样性与信息熵降低 的现象,使得生成结果趋于单调、无创意、模式固定。下面我为你系统性地讲解:


🧩 一、什么是熵崩塌(Entropy Collapse)

1. 熵的含义

在信息论和概率论中,信息熵(Entropy) 衡量的是系统的不确定性或多样性。
对一个模型输出分布 P(x)P(x),其熵定义为:

H(P)=−∑xP(x)log⁡P(x)H(P)=xP(x)logP(x)

高熵意味着多样性强、不确定性高;
低熵意味着输出集中、单调、缺乏变化。


2. 熵崩塌的定义

熵崩塌 指的是在训练或后期优化过程中,模型的输出分布熵明显降低,表现为:

  • 模型对输入的响应趋于雷同;
  • 输出缺乏多样性;
  • 学到的概率分布过度集中特定模式(例如高频token);
  • 在语言模型中表现为生成“千篇一律的句式”,在视觉模型中表现为“统一画风”或“模式固化”。

简而言之:

模型学会了“只说一种话”或“只画一种图”。


⚙️ 二、熵崩塌的常见来源

1. 训练目标过于单一

  • 若模型使用了 过于集中的训练数据(例如来自某个风格的语料),
    它会内化这种分布偏差,长期训练导致输出分布单调。

2. 过度正则化或过强损失约束

  • 比如在RLHF(强化学习对齐)阶段,若奖励模型只偏好某种“安全回复”或“礼貌句式”,
    模型逐渐舍弃多样性 → 熵下降。

3. 模式坍塌 (Mode Collapse) 的特例

  • 与GAN中“模式坍塌”类似:生成模型只能输出少数几种样本,而不会探索全部“模态”。
    熵崩塌可看作信息论意义下的模式坍塌。

4. 过多基于自我蒸馏的训练

  • 自蒸馏(Self-distillation)或“模型微调自身生成结果”的过程,若不加噪声或多样性约束,
    会使模型“强化自己的偏见”,使输出更加收敛。

🔬 三、语言模型中的熵崩塌体现

表格
 
阶段熵崩塌表现原因
预训练后期 生成句式趋同,重复性增强 数据多样性不足,过学习高频模式
对齐(RLHF)阶段 输出“中庸、安全、无个性”回复 奖励模型过度偏好稳定输出
长期自蒸馏 语言熵持续下降,词分布极端集中 无引入新信息源,信息冗余强化

举个例子:

原始模型可能输出同义句多样的回答,
对齐微调后只输出:“作为一个AI,我不能……”。


🔧 四、应对熵崩塌的策略

1. 引入熵正则化

在损失函数中加入熵项约束,鼓励模型保持高信息熵分布:

L=Ltask−λH(Pθ(x∣y))L=LtaskλH(Pθ(xy))

其中 λλ 控制多样性权重。

2. 多样性采样机制

在推理阶段通过:

  • Top-k、Top-p (Nucleus) 采样;
  • 温度调节 (T>1T>1 提升熵)。

3. 奖励模型多样性正则

在RLHF中加入对于输出熵、句式新颖性的奖励,
如在奖励函数中增加一项:

R=Ralignment+βH(output)R=Ralignment+βH(output)

4. 跨分布再训练(Cross-domain Fine-tuning)

周期性使用不同数据源的再训练,防止模型分布塌缩。


🧠 五、总结

表格
 
方面熵崩塌导致的问题解决思路
输出单调 缺乏想象力与新意 温度与top-p采样
模型稳态陷阱 过度依赖特定模式 熵正则化训练
安全但无趣 用户体验下降 加入多样性奖励、再训练

 

posted @ 2025-10-14 15:08  bonelee  阅读(28)  评论(0)    收藏  举报