2024年8月11日
一步一步微调小模型
摘要： 本文记录一下，使用自顶向下的编程法一步步编写微调小语言模型的代码。这里小模型指的是可以在本地电脑运行的预训练语言模型（1B左右），相对而言的是需要在大集群运行的模型。 微调一个语言模型，本质上是把一个已经预训练过的语言模型在一个新的数据集上继续训练。那么一次微调模型的任务，可以分为下面三个大个步骤（ 阅读全文
posted @ 2024-08-11 19:26 zrq96 阅读(1018) 评论(0) 推荐(0)