摘要: Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。Celery 是调用其Worker 组件来完成具体任务处理。前文讲了 Celery 启动过程的前半部分,本文继续后半部分的分析。 阅读全文
posted @ 2021-04-01 21:58 罗西的思考 阅读(211) 评论(0) 推荐(0) 编辑
摘要: Celery是一个简单、灵活且可靠的,处理大量消息的分布式系统,专注于实时处理的异步任务队列,同时也支持任务调度。本系列将通过源码分析,和大家一起深入学习 Celery。本文是系列第二篇,继续探究 Celery 架构。 阅读全文
posted @ 2021-03-27 10:02 罗西的思考 阅读(608) 评论(0) 推荐(0) 编辑
摘要: 本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是前向传播的第二篇,介绍自动微分(梯度计算)所涉及的部分 PyTorch 基础类。因为字数太多(1万两千字),所以拆分成上下两篇。 阅读全文
posted @ 2021-10-20 07:12 罗西的思考 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 本系列将通过大概十篇左右文章来分析 PyTorch 的自动微分功能如何实现。本文是前向传播的第一篇,介绍自动微分(梯度计算)所涉及的部分 PyTorch 基础类。因为字数太多(1万两千字),所以拆分成上下两篇。 阅读全文
posted @ 2021-10-18 17:30 罗西的思考 阅读(36) 评论(0) 推荐(0) 编辑
摘要: 本文从 PyTorch 两篇官方文档开始为大家解读两个示例。本文不会逐句翻译,而是选取重点并且试图加入自己的理解。 阅读全文
posted @ 2021-10-16 10:01 罗西的思考 阅读(76) 评论(0) 推荐(1) 编辑
摘要: 本文和上文以 [Automatic Differentiation in Machine Learning: a Survey](https://arxiv.org/pdf/1502.05767.pdf )为基础,逐步分析自动微分这个机器学习的基础利器。 阅读全文
posted @ 2021-10-14 17:21 罗西的思考 阅读(212) 评论(0) 推荐(1) 编辑
摘要: 本文和下文以 Automatic Differentiation in Machine Learning: a Survey 这篇论文为基础,逐步分析自动微分这个机器学习的基础利器。 阅读全文
posted @ 2021-10-12 17:25 罗西的思考 阅读(124) 评论(0) 推荐(3) 编辑
摘要: 前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据,本文我们结合论文内容来看看如何实现并行。 阅读全文
posted @ 2021-10-10 08:18 罗西的思考 阅读(64) 评论(0) 推荐(0) 编辑
摘要: 前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据等,本文我们结合论文内容来看看如何实现流水线依赖,核心就是如何建立这些小批次之间的跨设备依赖关系。 阅读全文
posted @ 2021-10-07 10:54 罗西的思考 阅读(104) 评论(0) 推荐(2) 编辑
摘要: 前几篇文章我们介绍了 PyTorch 流水线并行的基本知识,自动平衡机制和切分数据,本文我们结合论文内容来看看如何保证前向计算执行顺序。 阅读全文
posted @ 2021-09-28 21:24 罗西的思考 阅读(101) 评论(0) 推荐(0) 编辑
摘要: 前几篇文章我们介绍了 PyTorch 流水线并行的基本知识和自动平衡机制,本文我们介绍如何切分数据和运行时系统。 阅读全文
posted @ 2021-09-26 20:38 罗西的思考 阅读(92) 评论(2) 推荐(0) 编辑
摘要: 上一篇文章我们介绍了 PyTorch 流水线并行的基本知识,本文我们介绍其自动平衡机制和模型分割。 阅读全文
posted @ 2021-09-24 16:24 罗西的思考 阅读(135) 评论(0) 推荐(0) 编辑