随笔分类 -  分布式系统

分享开源分布式系统的使用和架构梳理
TensorFlow中的显存管理器——BFC Allocator
摘要：背景 作者：DeepLearningStack，阿里巴巴算法工程师，开源TensorFlow Contributor] 欢迎大家关注我的公众号，“互联网西门二少”，我将继续输出我的技术干货~ 使用GPU训练时，一次训练任务无论是模型参数还是中间结果都需要占用大量显存。为了避免每次训练重新开辟显存带来 阅读全文
posted @ 2019-05-04 23:00 DeepLearningStack 阅读(10018) 评论(0) 推荐(8)
TensorFlow中的通信机制——Rendezvous（二）gRPC传输
摘要：背景 [作者：DeepLearningStack，阿里巴巴算法工程师，开源TensorFlow Contributor] 欢迎大家关注我的公众号，“互联网西门二少”，我将继续输出我的技术干货~ 本篇是TensorFlow通信机制系列的第二篇文章，主要梳理使用gRPC网络传输部分模块的结构和源码。如果 阅读全文
posted @ 2019-03-10 00:53 DeepLearningStack 阅读(7388) 评论(4) 推荐(3)
TensorFlow中的通信机制——Rendezvous（一）本地传输
摘要：背景 [作者：DeepLearningStack，阿里巴巴算法工程师，开源TensorFlow Contributor] 欢迎大家关注我的公众号，“互联网西门二少”，我将继续输出我的技术干货~ 在TensorFlow源码中我们经常能看到一个奇怪的词——Rendezvous。如果从仔细统计该单词出现的 阅读全文
posted @ 2019-02-08 22:31 DeepLearningStack 阅读(6857) 评论(5) 推荐(2)
TensorFlow的图切割模块——Graph Partitioner
摘要：背景 [作者：DeepLearningStack，阿里巴巴算法工程师，开源TensorFlow Contributor] 欢迎大家关注我的公众号，“互联网西门二少”，我将继续输出我的技术干货~ 在经过TensorFlow的Placer策略模块调整之后，下一步就是根据Placement信息对Graph 阅读全文
posted @ 2018-12-16 23:25 DeepLearningStack 阅读(6321) 评论(0) 推荐(2)
Spark新手入门——3.Spark集群(standalone模式)安装
摘要：欢迎大家关注我的公众号，“互联网西门二少”，我将继续输出我的技术干货~ 主要包括以下三部分，本文为第三部分： 一. Scala环境准备 查看二. Hadoop集群(伪分布模式)安装 查看三. Spark集群(standalone模式)安装 Spark集群(standalone模式)安装 若使用spa 阅读全文
posted @ 2018-07-15 18:51 DeepLearningStack 阅读(1763) 评论(0) 推荐(0)
Spark新手入门——2.Hadoop集群(伪分布模式)安装
摘要：欢迎大家关注我的公众号，“互联网西门二少”，我将继续输出我的技术干货~ 主要包括以下三部分，本文为第二部分： 一. Scala环境准备 查看 二. Hadoop集群(伪分布模式)安装 三. Spark集群(standalone模式)安装 查看 Hadoop集群(伪分布模式)安装 依赖项：jdk(ha 阅读全文
posted @ 2018-07-15 17:55 DeepLearningStack 阅读(1538) 评论(0) 推荐(0)
Spark新手入门——1.Scala环境准备
摘要：欢迎大家关注我的公众号，“互联网西门二少”，我将继续输出我的技术干货~ 主要包括以下三部分，本文为第一部分： 一. Scala环境准备 二. Hadoop集群(伪分布模式)安装 查看 三. Spark集群(standalone模式)安装 查看 因Spark任务大多由Scala编写，因此，首先需要准备 阅读全文
posted @ 2018-07-15 17:41 DeepLearningStack 阅读(2395) 评论(0) 推荐(0)