罗西的思考 - 博客园

2021年11月

摘要：本文以几篇PyTorch官方文档为基础来了解分布式 autograd 的设计和内部结构，在翻译时并没有逐字翻译，其中加入了自己的部分理解。分布式 autograd 后续文章的分析也会基于本文进行。阅读全文

posted @ 2021-11-29 20:18 罗西的思考阅读(2011) 评论(0) 推荐(2)

摘要：上文我们已经对Reduer的前向传播进行了分析，本文就接着来看看如何进行反向传播。阅读全文

posted @ 2021-11-28 10:40 罗西的思考阅读(2526) 评论(1) 推荐(1)

摘要：前文已经对Reducer如何构建和几个重要场景做了介绍，本文就来分析 Reducer 如何实现前向传播。阅读全文

posted @ 2021-11-27 10:17 罗西的思考阅读(4193) 评论(2) 推荐(0)

摘要：因为前文已经围绕Reducer相关的各种成员变量做了相关分析，所以本文和下文开始做动态逻辑分析，目的是：把前面几篇文章串联起来。阅读全文

posted @ 2021-11-25 08:54 罗西的思考阅读(3392) 评论(4) 推荐(2)

摘要：通过上文分析，我们已经知道了 DDP 的基本架构和如何初始化，本文就看看其核心 Reducer 的静态架构。阅读全文

posted @ 2021-11-23 20:21 罗西的思考阅读(2730) 评论(0) 推荐(0)

摘要：前文我们对DDP的一些支撑模块已经做了介绍，这为本文做了必要的铺垫，本文就开始介绍Python世界代码和C++世界的初始化部分。下文介绍C++世界的核心代码。阅读全文

posted @ 2021-11-22 20:10 罗西的思考阅读(4677) 评论(1) 推荐(1)

摘要：本文是PyTorch分布式的第8篇，工欲善其事，必先利其器，为了更好的分析代码，我们先来学习一下相关论文。阅读全文

posted @ 2021-11-21 16:24 罗西的思考阅读(2731) 评论(2) 推荐(0)

摘要：本文是 PyTorch 分布式系列的第七篇，介绍 DistributedDataParallel 所依赖的进程组概念。阅读全文

posted @ 2021-11-20 09:40 罗西的思考阅读(5166) 评论(3) 推荐(2)

摘要：本文是 PyTorch 分布式系列的第六篇，介绍 DistributedDataParallel 所依赖的初始化方法和Store这两个概念。阅读全文

posted @ 2021-11-18 20:13 罗西的思考阅读(7269) 评论(0) 推荐(1)

摘要：本文是 PyTorch 分布式系列的第五篇，以几篇官方文档的翻译为基础，带领大家进入DistributedDataParallel，在后续会用5～6篇左右做深入分析。阅读全文

posted @ 2021-11-17 08:26 罗西的思考阅读(5302) 评论(0) 推荐(1)