罗西的思考 - 博客园

2022年5月

[源码解析] TensorFlow 分布式之 ParameterServerStrategy V2

摘要：对于 ParameterServerStrategy V2，我们将从几个方面来研究：如何与集群建立连接，如何生成变量，如何获取数据，如何运行。其中，变量和作用域我们在前文已经研究过，运行在 MirroredStrategy 里面也介绍，所以本文主要看看如何使用，如何初始化。在下一篇之中会重点看看如何分发计算。阅读全文

posted @ 2022-05-14 08:08 罗西的思考阅读(1058) 评论(0) 推荐(1)

[源码解析] TensorFlow 分布式之 ParameterServerStrategy V1

摘要：本章我们看看 ParameterServerStrategy，就是第一版代码。研究这个是因为目前工业界还有很多公司在使用，而且其内部机制也比较清晰易懂，值得我们分析。阅读全文

posted @ 2022-05-08 09:12 罗西的思考阅读(845) 评论(0) 推荐(0)

2022年4月

[源码解析] TensorFlow 分布式之 MirroredStrategy 分发计算

摘要：前一篇我们分析了MirroredStrategy 的基本架构和如何更新变量，本文我们来看看 MirroredStrategy 如何运行。具体希望了解的是，MirroredStrategy 通过什么方式在远端设备节点上运行训练方法（如何分发计算），MirroredStrategy 和我们之前分析的 TF 运行时怎么联系起来？和 master，worker 这些概念怎么联系起来？阅读全文

posted @ 2022-04-26 08:03 罗西的思考阅读(721) 评论(0) 推荐(1)

[源码解析] TensorFlow 分布式之 MirroredStrategy

摘要： MirroredStrategy 策略通常用于在一台机器上用多个GPU进行训练。其主要难点就是：如何更新 Mirrored 变量？如何分发计算？本文我们看看其总体思路和如何更新变量。阅读全文

posted @ 2022-04-19 18:37 罗西的思考阅读(1521) 评论(0) 推荐(0)

[源码解析] TensorFlow 之分布式变量

摘要：在 TensorFlow 之中，分布式变量是在多个设备上创建的变量。Mirrored variable 和 SyncOnRead variable 是两个例子。本文就对分布式变量进行分析。阅读全文

posted @ 2022-04-14 17:44 罗西的思考阅读(1272) 评论(0) 推荐(0)

[源码解析] TensorFlow 分布式 DistributedStrategy 之基础篇

摘要：我们接下来介绍TensorFlow分布式Strategy的基础，本文会先看看Strategy的类体系和如何处理数据，下一篇看看如何处理变量。阅读全文

posted @ 2022-04-12 14:21 罗西的思考阅读(1675) 评论(1) 推荐(0)

[翻译] 使用 TensorFlow 进行分布式训练

摘要：本文以两篇官方文档为基础来学习TensorFlow如何进行分布式训练，借此进入Strategy世界。阅读全文

posted @ 2022-04-10 09:50 罗西的思考阅读(1556) 评论(1) 推荐(1)

[源码解析] TensorFlow 分布式环境(8) --- 通信机制

摘要：当计算图在设备之间划分之后，跨设备的 PartitionGraph 之间可能存在着数据依赖关系，因此 TF 在它们之间插入 Send/Recv 节点，这样就完成数据交互。而在分布式模式之中，Send/Recv 通过 RpcRemoteRendezvous 完成数据交换，所以我们需要先看看 TF 之中的数据交换机制 Rendezvous。阅读全文

posted @ 2022-04-06 15:52 罗西的思考阅读(1267) 评论(3) 推荐(0)

[源码解析] TensorFlow 分布式环境(7) --- Worker 动态逻辑

摘要：前文中，Master 在流程之中先后调用了 gRPC 给远端 worker 发送命令，即，GrpcRemoteWorker 一共发了两个请求：RegisterGraphAsync，RunGraphAsync，本文我们就来看看 GrpcWorkerService 如何处理。阅读全文

posted @ 2022-04-01 16:47 罗西的思考阅读(752) 评论(0) 推荐(0)

2022年3月

[源码解析] TensorFlow 分布式环境(6) --- Master 动态逻辑

摘要：在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。本文会从 Client 开始，看看 Master 如何对计算图进行处理。阅读全文

posted @ 2022-03-29 16:34 罗西的思考阅读(712) 评论(1) 推荐(2)

公告