罗西的思考 - 博客园

2021年10月

摘要：本文从 PyTorch 两篇官方文档开始为大家解读两个示例。本文不会逐句翻译，而是选取重点并且试图加入自己的理解。阅读全文

posted @ 2021-10-16 10:01 罗西的思考阅读(2425) 评论(0) 推荐(2)

摘要：本文和上文以 [Automatic Differentiation in Machine Learning: a Survey](https://arxiv.org/pdf/1502.05767.pdf )为基础，逐步分析自动微分这个机器学习的基础利器。阅读全文

posted @ 2021-10-14 17:21 罗西的思考阅读(6208) 评论(0) 推荐(5)

摘要：本文和下文以 Automatic Differentiation in Machine Learning: a Survey 这篇论文为基础，逐步分析自动微分这个机器学习的基础利器。阅读全文

posted @ 2021-10-12 17:25 罗西的思考阅读(7711) 评论(3) 推荐(7)

摘要：前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据，本文我们结合论文内容来看看如何实现并行。阅读全文

posted @ 2021-10-10 08:18 罗西的思考阅读(3623) 评论(2) 推荐(0)

摘要：前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据等，本文我们结合论文内容来看看如何实现流水线依赖，核心就是如何建立这些小批次之间的跨设备依赖关系。阅读全文

posted @ 2021-10-07 10:54 罗西的思考阅读(2987) 评论(4) 推荐(3)

2021年9月

摘要：前几篇文章我们介绍了 PyTorch 流水线并行的基本知识，自动平衡机制和切分数据，本文我们结合论文内容来看看如何保证前向计算执行顺序。阅读全文

posted @ 2021-09-28 21:24 罗西的思考阅读(1587) 评论(0) 推荐(0)

摘要：前几篇文章我们介绍了 PyTorch 流水线并行的基本知识和自动平衡机制，本文我们介绍如何切分数据和运行时系统。阅读全文

posted @ 2021-09-26 20:38 罗西的思考阅读(1626) 评论(2) 推荐(0)

摘要：上一篇文章我们介绍了 PyTorch 流水线并行的基本知识，本文我们介绍其自动平衡机制和模型分割。阅读全文

posted @ 2021-09-24 16:24 罗西的思考阅读(2065) 评论(0) 推荐(0)

摘要：本系列开始介绍PyTorch的流水线并行实现。实质上，PyTorch就是 GPipe 的PyTorch版本。阅读全文

posted @ 2021-09-22 08:45 罗西的思考阅读(4424) 评论(0) 推荐(0)

摘要：本文以 PyTorch on Horovod 为切入点，分析一下 Horovod 弹性训练的恢复流程，具体涉及知识点有：ElasticSampler与PyTorch 原生DistributedSampler 的区别，Horovod 弹性训练如何恢复等。阅读全文

posted @ 2021-09-18 15:47 罗西的思考阅读(762) 评论(0) 推荐(0)