2024年12月1日
从零开始的 CPT (Continual Pre-Training): 摆脱复杂的训练框架
摘要： 由于要解决一些业务问题，需要将领域知识喂给大模型。之前只做过简单的 finetuning（在 GLM 的框架上跑了一些 lora，数据量也不大），但是现在要将整个细分工业领域的相关数据都收集起来训练，规模上比之前半手动构造的微调数据集要大了很多，调研了一圈，更适合在 pre-train 阶段去做训练 阅读全文
posted @ 2024-12-01 22:02 zion03 阅读(1262) 评论(0) 推荐(0)