摘要:算法工程师为什么也要向社区贡献代码? [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] “做算法的人要熟悉算法框架源码吗?算法工程师难道不应该会使用框架建模就可以了吗?如何成为具有一定竞争力的算法工程师?”... 我经常被不同的人问类 阅读全文
posted @ 2019-02-23 23:47 DeepLearningStack 阅读 (1049) 评论 (4) 编辑
摘要:背景 作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 使用GPU训练时,一次训练任务无论是模型参数还是中间结果都需要占用大量显存。为了避免每次训练重新开辟显存带来计算之外的开销,一般框架的做法是在真正的训练任务开始前,将每个节点的输入 阅读全文
posted @ 2019-05-04 23:00 DeepLearningStack 阅读 (806) 评论 (0) 编辑
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 本篇是TensorFlow通信机制系列的第二篇文章,主要梳理使用gRPC网络传输部分模块的结构和源码。如果读者对TensorFlow中Rendezvous部分的基本结构和原理还不 阅读全文
posted @ 2019-03-10 00:53 DeepLearningStack 阅读 (1116) 评论 (4) 编辑
摘要:算法工程师为什么也要向社区贡献代码? [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] “做算法的人要熟悉算法框架源码吗?算法工程师难道不应该会使用框架建模就可以了吗?如何成为具有一定竞争力的算法工程师?”... 我经常被不同的人问类 阅读全文
posted @ 2019-02-23 23:47 DeepLearningStack 阅读 (1049) 评论 (4) 编辑
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 在TensorFlow源码中我们经常能看到一个奇怪的词——Rendezvous。如果从仔细统计该单词出现的频率和模块,你会发现无论在单机还是分布式,无论在core目录还是cont 阅读全文
posted @ 2019-02-08 22:31 DeepLearningStack 阅读 (1069) 评论 (4) 编辑
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 在分布式训练时,提高计算通信占比是提高计算加速比的有效手段,当网络通信优化到一定程度时,只有通过增加每个worker上的batch size来提升计算量,进而提高计算通信占比。然 阅读全文
posted @ 2019-01-20 23:12 DeepLearningStack 阅读 (392) 评论 (0) 编辑
摘要:该部分分为两篇,分别介绍RDD与Dataset/DataFrame: 一、RDD 二、DataSet/DataFrame 先来看下官网对RDD、DataSet、DataFrame的解释: 1.RDD Resilient distributed dataset(RDD),which is a faul 阅读全文
posted @ 2019-01-04 14:17 DeepLearningStack 阅读 (162) 评论 (0) 编辑
摘要:该部分分为两篇,分别介绍RDD与Dataset/DataFrame: 一、RDD 二、DataSet/DataFrame 该篇主要介绍DataSet与DataFrame。 一、生成DataFrame 1.1.通过case class构造DataFrame package com.personal.t 阅读全文
posted @ 2019-01-03 11:07 DeepLearningStack 阅读 (334) 评论 (0) 编辑
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 在经过TensorFlow的Placer策略模块调整之后,下一步就是根据Placement信息对Graph做切割,然后分发到不同的Device上去执行的过程了。在对Graph做切 阅读全文
posted @ 2018-12-16 23:25 DeepLearningStack 阅读 (1229) 评论 (0) 编辑
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 在前一篇文章中,我们梳理了TensorFlow中各种异构Device的添加和注册机制,通过使用预先定义好的宏,各种自定义好的Device能够将自己注册到全局表中。TensorFl 阅读全文
posted @ 2018-11-25 21:46 DeepLearningStack 阅读 (1290) 评论 (0) 编辑
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 受限于单个Device的计算能力和存储大小,许多深度学习模型都有着使用模型分片或相关策略的需求。模型分片的本质是将模型和相关的计算切分到不同的Device,这样做不但可以解决单个 阅读全文
posted @ 2018-10-28 19:55 DeepLearningStack 阅读 (1193) 评论 (0) 编辑