随笔分类 -  一言难尽的踩坑之路

DeepSpeed分布式训练
摘要：一、DeepSpeed 总纲 官方文档：DeepSpeed 官方英文文档 cpoy下来的原版 DeepSpeed 模型的训练是使用DeeSpeed引擎完成的 DeepSpeed引擎可以包装任何 torch.nn.module 类型的模型 二、训练 1、通过 deepspeed.initialize 阅读全文
posted @ 2023-12-20 12:54 Abyss_J 阅读(2493) 评论(0) 推荐(0)
多卡训练
摘要：## 1、前言 近期做到的一些工作涉及到多卡训练，不得不感慨深度学习真的是一个烧钱的活，顺便记录一下，主要记录用法，不涉及实现原理。 ## 2、单机多卡并行 官方DDP文档： [GETTING STARTED WITH DISTRIBUTED DATA PARALLEL](https://pytor 阅读全文
posted @ 2023-06-21 16:16 Abyss_J 阅读(1287) 评论(0) 推荐(1)