摘要：
本文是PyTorch分布式的第8篇，工欲善其事，必先利其器，为了更好的分析代码，我们先来学习一下相关论文。 阅读全文
posted @ 2021-11-21 16:24
罗西的思考
阅读(2764)
评论(2)
推荐(0)
摘要：
本文是 PyTorch 分布式系列的第七篇， 介绍 DistributedDataParallel 所依赖的进程组概念。 阅读全文
posted @ 2021-11-20 09:40
罗西的思考
阅读(5223)
评论(3)
推荐(2)
摘要：
本文是 PyTorch 分布式系列的第六篇， 介绍 DistributedDataParallel 所依赖的初始化方法和Store这两个概念。 阅读全文
posted @ 2021-11-18 20:13
罗西的思考
阅读(7409)
评论(0)
推荐(1)
摘要：
本文是 PyTorch 分布式系列的第五篇，以几篇官方文档的翻译为基础，带领大家进入DistributedDataParallel，在后续会用5～6篇左右做深入分析。 阅读全文
posted @ 2021-11-17 08:26
罗西的思考
阅读(5357)
评论(0)
推荐(1)
摘要：
本文以 PyTorch 官方文档 https://pytorch.org/tutorials/intermediate/dist_tuto.html 为基础，对如何编写分布式进行了介绍，并且加上了自己的理解。 阅读全文
posted @ 2021-11-13 09:23
罗西的思考
阅读(7422)
评论(0)
推荐(2)
摘要：
本文是 PyTorch 分布式的第三篇，继续上文，介绍 DataPrallel 的并行操作和反向传播。 阅读全文
posted @ 2021-11-11 08:39
罗西的思考
阅读(2330)
评论(2)
推荐(3)
摘要：
从本文开始，我们介绍 PyTorch 的数据并行，本文是第一篇，介绍 DataPrallel，因为字数太多（1万两千多字，因此拆分成两篇文章发布）。 阅读全文
posted @ 2021-11-09 20:11
罗西的思考
阅读(3536)
评论(3)
推荐(3)
摘要：
在 PyTorch DataParallel 训练过程中，其会在多个GPU之上复制模型副本，然后才开始训练。笔者在分析过程中，发现如果不把一些GPU相关基础知识整理出来，很难理解DataParallel的这个复制模型的过程，遂有此文。 阅读全文
posted @ 2021-11-07 09:14
罗西的思考
阅读(7017)
评论(2)
推荐(1)
摘要：
本文主要在对PyTorch官方文档的翻译之上加入了自己的理解，希望给大家一个PyTorch分布式的历史脉络和基本概念，有兴趣的朋友可以仔细研究一下历史，看看一个机器学习系统如何一步一步进入分布式世界 / 完善其功能。 阅读全文
posted @ 2021-11-03 08:58
罗西的思考
阅读(5706)
评论(0)
推荐(1)
摘要：
前文中我们介绍了反向传播引擎的动态逻辑，因为具体反向传播算法是在设备线程中完成的，所以我们单独用一章来讲解。 阅读全文
posted @ 2021-11-01 08:47
罗西的思考
阅读(1807)
评论(0)
推荐(1)
浙公网安备 33010602011771号