2025年11月24日
Minimind-一个开源LLM项目的代码分析2：模型训练
摘要： Minimind-一个开源LLM项目的代码分析2：模型训练 这一章我们讲解模型训练涉及到的几个重要方法：pretrain,SFT,LoRA,DPO。项目作者提供了两种训练策略。如下图所示 一种是完整的训练流程，先通过1.6G大小的数据集pretrain预训练一个基础模型，然后通过16.5G数据集SFT微调得到一个强力的基线模型，最后通过0.9G数据集做RL- 阅读全文
posted @ 2025-11-24 17:46 bradinz 阅读(54) 评论(0) 推荐(0)