大模型sft微调参数优化2
摘要:根据最新研究,我为您整理了大模型SFT(监督微调)的参数设置与优化技巧: 一、核心超参数设置 1. 学习率(Learning Rate) 表格 微调方式推荐范围关键说明 SFT 1e-5 ~ 5e-5 最核心参数,数据量小用低值,数据量大用高值 LoRA SFT 2e-4 可使用更高学习率,配合Wa
阅读全文
posted @ 2026-04-14 20:26
posted @ 2026-04-14 20:26