伪排练：解决NLP灾难性遗忘的简易方案

灾难性遗忘问题

当连续优化两个学习任务时，若第二个任务的权重初始化依赖于第一个任务的权重，则会出现灾难性遗忘问题。理想情况下，优化器应不受初始化影响，始终找到最优解，但现实中这难以实现。

spaCy的多任务学习解决方案

spaCy v2.0 alpha通过将多任务CNN与各任务专用的局部CNN结合，允许单独更新任务而不影响共享组件。例如，其词性标注、命名实体识别等模型共享由卷积神经网络生成的输入表示，使得模型体积大幅缩小（最新版本仅18MB）。

微调陷阱与伪排练技术

直接微调共享权重的模型可能导致通用能力丧失。伪排练技术的核心是：

1. 生成修订数据：用初始模型标注原始数据，保留其输出行为。
2. 混合训练：将修订数据与新微调数据混合，分批更新模型。

关键细节：

• 修订数据需由静态模型生成，避免权重动态变化导致 trivial 解。
• spaCy当前将修订数据视作黄金标准，未来可能改进为保留原始预测分布。

技术实现示例

# 生成修订数据  
revision_data = []  
for doc in nlp.pipe(revision_texts):  
    tags = [w.tag_ for w in doc]  
    heads = [w.head.i for w in doc]  
    revision_data.append((doc, GoldParse(doc, tags=tags, heads=heads)))  

# 混合微调  
for epoch in range(n_epoch):  
    examples = revision_data + fine_tune_data  
    nlp.update([d for d, _ in examples], [g for _, g in examples])  

总结

伪排练通过混合初始模型输出与新数据，有效平衡微调与通用性。相比参数空间正则化，该方法直接在输出空间约束模型行为，更符合实际需求。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码