摘要: 大模型的演变和训练 大模型训练整体上分为三个阶段: 预训练、 SFT(监督微调)以及RLHF(基于人类反馈的强化学习) 一、预训练 预训练的过程类似从婴儿成长成中学生的阶段,在这个阶段我们会学习各种各样的知识,我们的语言习惯、知识体系等重要部分都会形成;对于大模型来讲,在这个阶段它会学习各种不同种类 阅读全文
posted @ 2025-01-16 13:22 skystrivegao 阅读(203) 评论(0) 推荐(0)