摘要：
在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何使用 RPC 来完成分布式管道并行。 阅读全文
posted @ 2021-12-20 10:03
罗西的思考
阅读(1512)
评论(0)
推荐(0)
摘要：
在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何把DDP和RPC framework结合起来。 阅读全文
posted @ 2021-12-16 20:38
罗西的思考
阅读(1961)
评论(0)
推荐(0)
摘要：
在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何使用异步执行操作来实现批处理 RPC，大家可以学习到PyTorch对参数服务器一个新的实现方式。 阅读全文
posted @ 2021-12-15 21:04
罗西的思考
阅读(1284)
评论(3)
推荐(1)
摘要：
在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何使用分布式 RPC 框架实现参数服务器。 阅读全文
posted @ 2021-12-14 17:03
罗西的思考
阅读(1762)
评论(2)
推荐(0)
摘要：
在前面的文章之中，我们已经学习了PyTorch 分布式的基本模块，接下来我们通过几篇文章来看看如何把这些模块应用到实践之中，顺便把PyTorch分布式逻辑整体梳理一下。本文介绍如何把分布式自动微分和分布式优化器结合起来训练一个模型。 阅读全文
posted @ 2021-12-13 09:39
罗西的思考
阅读(1406)
评论(0)
推荐(1)
摘要：
本系列介绍分布式优化器，分为三篇文章，分别是基石篇，DP/DDP/Horovod 之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。本文介绍PyTorch 分布式优化器和PipeDream之中的优化器，主要涉及模型并行（流水线并行）。 阅读全文
posted @ 2021-12-09 19:08
罗西的思考
阅读(2878)
评论(0)
推荐(0)
摘要：
本系列介绍分布式优化器，分为三篇文章，分别是基石篇，DP/DDP/Horovod 之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。本文介绍数据并行DP/DDP/Horovod 之中的优化器。 阅读全文
posted @ 2021-12-08 19:36
罗西的思考
阅读(1729)
评论(0)
推荐(2)
摘要：
我们接下来通过几篇文章来看看分布式优化器。本系列分为三篇文章，分别是基石篇，DP/DDP/Horovod 之中数据并行的优化器，PyTorch 分布式优化器，按照深度递进。 本文是基石篇，通过本文，大家可以了解到模型的构造，优化器的基本原理，两者之间的交互，如何优化更新模型等等，这为后面的逐级分析打下了一个基础。 阅读全文
posted @ 2021-12-07 19:26
罗西的思考
阅读(1713)
评论(1)
推荐(0)
摘要：
上文我们介绍了引擎如何获得后向计算图的依赖，本文我们就接着看看引擎如何依据这些依赖进行后向传播。 阅读全文
posted @ 2021-12-06 18:12
罗西的思考
阅读(1346)
评论(0)
推荐(1)
摘要：
上文已经分析了如何启动/接受反向传播，如何进入分布式autograd 引擎，本文和下文就看看如何分布式引擎如何运作。通过本文的学习，读者可以对 dist.autograd 引擎基本静态架构和总体执行逻辑有所了解。 阅读全文
posted @ 2021-12-04 10:11
罗西的思考
阅读(919)
评论(0)
推荐(1)
浙公网安备 33010602011771号