摘要：
在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。本文梳理下 Master 的静态逻辑。 阅读全文
posted @ 2022-03-19 14:56
罗西的思考
阅读(1130)
评论(0)
推荐(1)
摘要：
在具体介绍 TensorFlow 分布式的各种 Strategy 之前，我们首先需要看看分布式的基础：分布式环境。只有把基础打扎实了，才能在以后的分析工作之中最大程度的扫清障碍，事半功倍。 阅读全文
posted @ 2022-03-16 19:33
罗西的思考
阅读(2491)
评论(0)
推荐(0)
摘要：
读论文有一种原则是：本领域最经典的论文，近5年最热的论文，近1年最新的论文。按照这个原则，本文主要介绍一篇Tensorflow 经典论文 [Implementation of Control Flow in TensorFlow]。 阅读全文
posted @ 2022-03-15 17:27
罗西的思考
阅读(1006)
评论(0)
推荐(0)
摘要：
本文主要介绍一篇 TensorFlow 经典论文[ TensorFlow : Large-Scale Machine Learning on Heterogeneous Distributed Systems](http://download. TensorFlow .org/paper/whitepaper2015.pdf)。大家如果读了下面论文就会发现 TensorFlow分布式的博大精深。 阅读全文
posted @ 2022-03-12 09:31
罗西的思考
阅读(1619)
评论(0)
推荐(0)
摘要：
经过9篇文章之后，我们基本把 HugeCTR 的训练过程梳理了以下，现在我们有必要看看HugeCTR如何进行推理，这样可以让我们从整体上有一个更好的把握。而且我们之前都是分析分布式训练，此处恰好可以看看分布式推理。 阅读全文
posted @ 2022-03-10 17:24
罗西的思考
阅读(1025)
评论(0)
推荐(0)
摘要：
在这个系列中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。本文介绍 LocalizedSlotSparseEmbeddingHash 的后向操作。 阅读全文
posted @ 2022-03-09 20:09
罗西的思考
阅读(914)
评论(0)
推荐(0)
摘要：
在这个系列中，我们介绍了 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。本文介绍 DistributedSlotSparseEmbeddingHash 的后向操作。 阅读全文
posted @ 2022-03-04 17:31
罗西的思考
阅读(795)
评论(0)
推荐(0)
浙公网安备 33010602011771号