2023年12月12日
【LLMOps】Accelerate & DeepSpeed使用及加速机制剖析
摘要： 介绍 目前大模型微调主要方案是 LLaMA-Factory LLaMA-Factory中，提供了两种多卡框架：Accelerate、DeepSpeed Accelerate 依赖 accelerate==0.24.1 transformers==4.34.1 datasets==2.14.7 tik 阅读全文
posted @ 2023-12-12 15:06 周周周文阳 阅读(6468) 评论(0) 推荐(0)