zzKaggle竞赛夺冠秘籍：用Llama-Factory快速迭代NLP模型

https://blog.csdn.net/weixin_42234168/article/details/155865298

Kaggle竞赛夺冠秘籍：用Llama-Factory快速迭代NLP模型

 

1. LoRA目标层的选择有讲究
不要盲目对所有线性层应用LoRA。经验表明，在注意力机制中仅作用于 q_proj 和 v_proj 往往能获得最佳性价比。前者影响查询表示，后者关系到信息保留，而 k_proj 和 ffn 改动收益较低且易过拟合。

 

2. 小数据集别贪epoch
Kaggle NLP任务的数据量通常在几千到几万条之间。这种规模下，1~2个epoch就足以让LoRA收敛。强行跑5个epoch反而可能导致适配器“过度学习”噪声模式。

 

3. 梯度裁剪几乎是必需品
设置 "max_grad_norm": 1.0 能显著提升训练稳定性，尤其是在使用较高学习率（>3e-4）时。这是防止early stopping误触发的关键。

 

4. 定期保存中间检查点
利用 save_steps=50 这类参数频繁保存模型快照。一旦最终模型表现不佳，你可以回退到某个中间状态进行集成，而不是全部重训。

 

5. Prompt一致性决定上限
训练时用“请提取以下文本中的实体”，推理时改成“找出人名地名组织名”——这种细微差异会导致模型困惑。建议将prompt模板单独抽成变量或配置项，确保端到端一致。