摘要: pytorch 多机单卡分布式训练配置笔记 记录通过torchrun进行pytorch的分布式训练配置方法,示例代码为基本的分布式训练框架代码,无实际功能 环境 操作系统:Ubuntu 22.04 Python环境:anaconda 23.11.0、Python 3.8 pytorch:2.1.2 阅读全文
posted @ 2024-02-06 21:38 idongliming 阅读(976) 评论(0) 推荐(0)
摘要: tensorflow 2.x 多机单卡 分布式训练配置笔记 tensorflow 2.x 多机单卡 demo代码演示。配置笔记 多机多卡属于 tensorflow的 tf.distribute.MultiWorkerMirroredStrategy 策略,下面为详细的环境配置和demo代码 环境、版 阅读全文
posted @ 2024-02-06 20:27 idongliming 阅读(185) 评论(0) 推荐(0)