我的随笔

[论文翻译] 分布式训练 Parameter sharding 之 ZeRO

罗西的思考 2022-01-11 10:13 阅读:4035 评论:6 推荐:1 编辑

[源码解析] PyTorch 分布式之 ZeroRedundancyOptimizer

罗西的思考 2022-01-10 16:47 阅读:3921 评论:0 推荐:2 编辑

[源码解析] 快手八卦 --- 机器学习分布式训练新思路(3)

罗西的思考 2022-01-06 20:13 阅读:876 评论:5 推荐:0 编辑

[源码解析] 快手八卦 --- 机器学习分布式训练新思路(2)

罗西的思考 2022-01-05 21:08 阅读:782 评论:0 推荐:0 编辑

[源码解析] 快手八卦 --- 机器学习分布式训练新思路(1)

罗西的思考 2022-01-04 19:18 阅读:1247 评论:0 推荐:0 编辑

[源码解析] PyTorch 分布式之弹性训练(7)---节点变化

罗西的思考 2021-12-31 14:31 阅读:590 评论:0 推荐:0 编辑

[源码解析] PyTorch 分布式之弹性训练(6)---监控/容错

罗西的思考 2021-12-29 18:02 阅读:1970 评论:0 推荐:0 编辑

[源码解析] PyTorch 分布式之弹性训练(5)---Rendezvous 引擎

罗西的思考 2021-12-28 09:55 阅读:1164 评论:0 推荐:0 编辑

[源码解析] PyTorch 分布式之弹性训练(4)---Rendezvous 架构和逻辑

罗西的思考 2021-12-27 10:15 阅读:1788 评论:0 推荐:0 编辑

[源码解析] PyTorch 分布式之弹性训练(3)---代理

罗西的思考 2021-12-25 10:15 阅读:1244 评论:0 推荐:0 编辑