001_机器学习 - 随笔分类(第8页) - 罗西的思考

[源码解析] 深度学习流水线并行GPipe (2) ----- 梯度累积

摘要：梯度累积是一种增大训练时 batch size的技术，在本地使用 micro-batch 多次进行正向和反向传播积累梯度后，再进行梯度规约和优化器更新，这是用来均摊通信成本的一种常用策略。本文通过几个框架/库的实现对比，让大家对这个技术有进一步的了解。阅读全文

posted @ 2021-08-26 08:27 罗西的思考阅读(2838) 评论(0) 推荐(2)

[源码解析] 深度学习流水线并行Gpipe(1)---流水线基本实现

摘要：GPipe 是一个基于 Lingvo （Lingvo 是 Google 基于 TensorFlow 二次开发的重点针对序列模型的框架）开发的，支持超大规模模型的神经网络训练并行库，本文介绍其基本功能和流水线机制。阅读全文

posted @ 2021-08-23 08:24 罗西的思考阅读(8815) 评论(4) 推荐(4)

[源码解析] 机器学习参数服务器Paracel (3)------数据处理

摘要：Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式，用于解决机器学习的问题。前文介绍了PyTorch 的数据处理部分，本文接着介绍Paracel的数据处理部分，正好可以与PyTorch做一下印证。阅读全文

posted @ 2021-08-21 09:11 罗西的思考阅读(507) 评论(0) 推荐(0)

[源码解析] PyTorch 分布式(2) --- 数据加载之DataLoader

摘要：为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载，主要是从分布式的角度进行切入。本文介绍 DataLoader。阅读全文

posted @ 2021-08-18 08:12 罗西的思考阅读(4596) 评论(2) 推荐(1)

[源码解析] PyTorch 分布式(1) --- 数据加载之DistributedSampler

摘要：为了更好的介绍参数服务器Paracel的数据加载，我们临时插入两篇PyTorch的数据加载（因为字数太长，所以拆成两篇），主要是从分布式的角度进行切入。本文介绍 DistributedSampler。阅读全文

posted @ 2021-08-15 10:32 罗西的思考阅读(10260) 评论(0) 推荐(1)

[源码解析] 机器学习参数服务器 Paracel (2)--------SSP控制协议实现

摘要：Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题。本文主要分析其SSP的实现。阅读全文

posted @ 2021-08-13 20:16 罗西的思考阅读(718) 评论(0) 推荐(0)

[源码解析] 机器学习参数服务器 Paracel (1)-----总体架构

摘要：Paracel是豆瓣开发的一个分布式计算框架，它基于参数服务器范式来解决机器学习的问题，本文介绍其主体结构。阅读全文

posted @ 2021-08-10 19:26 罗西的思考阅读(646) 评论(0) 推荐(0)

[源码解析]机器学习参数服务器ps-lite(4) ----- 应用节点实现

摘要：本文是参数服务器的第四篇，介绍KVWorker, KVServer。阅读全文

posted @ 2021-08-07 10:31 罗西的思考阅读(694) 评论(0) 推荐(0)

[源码解析] 机器学习参数服务器ps-lite 之(3) ----- 代理人Customer

摘要：本文是参数服务器第三篇，介绍ps-lite的Customer模块。阅读全文

posted @ 2021-08-04 20:26 罗西的思考阅读(935) 评论(0) 推荐(0)

[源码解析] 机器学习参数服务器ps-lite(2) ----- 通信模块Van

摘要：本文是参数服务器系列第二篇，介绍ps-lite的通信模块 Van。阅读全文

posted @ 2021-08-02 20:11 罗西的思考阅读(1100) 评论(0) 推荐(0)

[源码解析] 机器学习参数服务器ps-lite (1) ----- PostOffice

摘要：参数服务器是机器学习训练一种范式，是为了解决分布式机器学习问题的一个编程框架。本文是参数服务器系列第一篇，介绍ps-lite的总体设计和基础模块 Postoffice。阅读全文

posted @ 2021-07-30 15:40 罗西的思考阅读(2324) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (20) --- Elastic Training Operator

摘要：本文是 horovod on k8s 的最后一篇，看看 MPI-Operator 可能被如何改进。阅读全文

posted @ 2021-07-28 19:43 罗西的思考阅读(960) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (19) --- kubeflow MPI-operator

摘要：Horovod 是一款基于 AllReduce 的分布式训练框架。本文是 Horovod on k8s 第二篇，介绍MPI-Operator。阅读全文

posted @ 2021-07-26 14:21 罗西的思考阅读(2516) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator

摘要：Horovod 是一款基于 AllReduce 的分布式训练框架。本文是 Horovod on k8s 第一篇，介绍kubeflow tf-operator。阅读全文

posted @ 2021-07-23 17:02 罗西的思考阅读(1811) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (17) --- 弹性训练之容错

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十七篇，看看horovod 的容错机制。阅读全文

posted @ 2021-07-21 20:29 罗西的思考阅读(1006) 评论(4) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (16) --- 弹性训练之Worker生命周期

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是第十六篇，看看 horovod **弹性训练**中 worker 的生命周期。阅读全文

posted @ 2021-07-19 20:19 罗西的思考阅读(718) 评论(2) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (15) --- 广播 & 通知

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十五篇，看看horovod 弹性训练如何广播和发送通知。阅读全文

posted @ 2021-07-16 20:24 罗西的思考阅读(898) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (14) --- 弹性训练发现节点 & State

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十四篇，看看horovod 如何动态发现节点和处理状态信息。阅读全文

posted @ 2021-07-14 19:18 罗西的思考阅读(834) 评论(1) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (13) --- 弹性训练之 Driver

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十三篇，看看 horovod 弹性实现中的 Driver 角色。阅读全文

posted @ 2021-07-12 19:43 罗西的思考阅读(875) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (12) --- 弹性训练总体架构

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十二篇，看看horovod 如何实施弹性训练。阅读全文

posted @ 2021-07-09 21:02 罗西的思考阅读(1485) 评论(2) 推荐(0)

随笔分类 - 001_机器学习

公告