2023年12月20日
DeepSpeed分布式训练
摘要： 一、DeepSpeed 总纲 官方文档：DeepSpeed 官方英文文档 cpoy下来的原版 DeepSpeed 模型的训练是使用DeeSpeed引擎完成的 DeepSpeed引擎可以包装任何 torch.nn.module 类型的模型 二、训练 1、通过 deepspeed.initialize 阅读全文
posted @ 2023-12-20 12:54 Abyss_J 阅读(2379) 评论(0) 推荐(0)