04 2026 档案

大模型sft微调参数优化2
摘要:根据最新研究,我为您整理了大模型SFT(监督微调)的参数设置与优化技巧: 一、核心超参数设置 1. 学习率(Learning Rate) 表格 微调方式推荐范围关键说明 SFT 1e-5 ~ 5e-5 最核心参数,数据量小用低值,数据量大用高值 LoRA SFT 2e-4 可使用更高学习率,配合Wa 阅读全文

posted @ 2026-04-14 20:26 ExplorerMan 阅读(71) 评论(0) 推荐(0)

导航