001_机器学习 - 随笔分类(第9页) - 罗西的思考

[源码解析] 机器学习参数服务器ps-lite(2) ----- 通信模块Van

摘要：本文是参数服务器系列第二篇，介绍ps-lite的通信模块 Van。阅读全文

posted @ 2021-08-02 20:11 罗西的思考阅读(1119) 评论(0) 推荐(0)

[源码解析] 机器学习参数服务器ps-lite (1) ----- PostOffice

摘要：参数服务器是机器学习训练一种范式，是为了解决分布式机器学习问题的一个编程框架。本文是参数服务器系列第一篇，介绍ps-lite的总体设计和基础模块 Postoffice。阅读全文

posted @ 2021-07-30 15:40 罗西的思考阅读(2371) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (20) --- Elastic Training Operator

摘要：本文是 horovod on k8s 的最后一篇，看看 MPI-Operator 可能被如何改进。阅读全文

posted @ 2021-07-28 19:43 罗西的思考阅读(987) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (19) --- kubeflow MPI-operator

摘要：Horovod 是一款基于 AllReduce 的分布式训练框架。本文是 Horovod on k8s 第二篇，介绍MPI-Operator。阅读全文

posted @ 2021-07-26 14:21 罗西的思考阅读(2576) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (18) --- kubeflow tf-operator

摘要：Horovod 是一款基于 AllReduce 的分布式训练框架。本文是 Horovod on k8s 第一篇，介绍kubeflow tf-operator。阅读全文

posted @ 2021-07-23 17:02 罗西的思考阅读(1840) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (17) --- 弹性训练之容错

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十七篇，看看horovod 的容错机制。阅读全文

posted @ 2021-07-21 20:29 罗西的思考阅读(1027) 评论(4) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (16) --- 弹性训练之Worker生命周期

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是第十六篇，看看 horovod **弹性训练**中 worker 的生命周期。阅读全文

posted @ 2021-07-19 20:19 罗西的思考阅读(757) 评论(2) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (15) --- 广播 & 通知

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十五篇，看看horovod 弹性训练如何广播和发送通知。阅读全文

posted @ 2021-07-16 20:24 罗西的思考阅读(920) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (14) --- 弹性训练发现节点 & State

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十四篇，看看horovod 如何动态发现节点和处理状态信息。阅读全文

posted @ 2021-07-14 19:18 罗西的思考阅读(849) 评论(1) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (13) --- 弹性训练之 Driver

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十三篇，看看 horovod 弹性实现中的 Driver 角色。阅读全文

posted @ 2021-07-12 19:43 罗西的思考阅读(893) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (12) --- 弹性训练总体架构

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十二篇，看看horovod 如何实施弹性训练。阅读全文

posted @ 2021-07-09 21:02 罗西的思考阅读(1529) 评论(2) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (11) --- on spark --- GLOO 方案

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第十一篇，看看horovod 如何运行在 spark 之上（GLOO实现）。阅读全文

posted @ 2021-07-07 19:22 罗西的思考阅读(801) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (10) --- run on spark

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文是系列第十篇，看看horovod 如何运行在 spark 之上。阅读全文

posted @ 2021-07-05 06:25 罗西的思考阅读(1005) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (9) --- 启动 on spark

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文是系列第九篇，介绍 horovod on spark 如何启动。阅读全文

posted @ 2021-07-03 09:01 罗西的思考阅读(712) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (8) --- on spark

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。接下来几篇介绍 horovod 如何运行在 spark 之上。本文是第八篇，介绍 horovod on spark 的总体架构。阅读全文

posted @ 2021-06-30 08:22 罗西的思考阅读(1315) 评论(0) 推荐(4)

[源码解析] 深度学习分布式训练框架 horovod (7) --- DistributedOptimizer

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第七篇，看看 Horovod 如何与 TensorFlow 融合。阅读全文

posted @ 2021-06-28 08:06 罗西的思考阅读(2378) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (6) --- 后台线程架构

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文是系列第六篇，看看 Horovod 后台线程架构。阅读全文

posted @ 2021-06-24 07:39 罗西的思考阅读(2242) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (5) --- 融合框架

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本文是系列第五篇，看看 Horovod 如何融合各个机器学习框架。阅读全文

posted @ 2021-06-21 08:39 罗西的思考阅读(2108) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (4) --- 网络基础 & Driver

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第四篇，看看如何获取 host 之间的路由等网络信息。阅读全文

posted @ 2021-06-17 19:15 罗西的思考阅读(1518) 评论(0) 推荐(0)

[源码解析] 深度学习分布式训练框架 horovod (3) --- Horovodrun背后做了什么

摘要：Horovod 是Uber于2017年发布的一个易于使用的高性能的分布式训练框架，在业界得到了广泛应用。本系列将通过源码分析来带领大家了解 Horovod。本文是系列第三篇，从 python 开始进入 Horovod 世界，看看 Horovodrun 背后做了什么。阅读全文

posted @ 2021-06-15 08:22 罗西的思考阅读(3482) 评论(1) 推荐(0)

随笔分类 - 001_机器学习

公告