随笔分类 - TensorFlow源码阅读与架构梳理
分享记录Google开源的TensorFlow框架架构梳理,源码阅读笔记以及优化best practice
摘要:背景 作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 使用GPU训练时,一次训练任务无论是模型参数还是中间结果都需要占用大量显存。为了避免每次训练重新开辟显存带来
阅读全文
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 本篇是TensorFlow通信机制系列的第二篇文章,主要梳理使用gRPC网络传输部分模块的结构和源码。如果
阅读全文
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 在TensorFlow源码中我们经常能看到一个奇怪的词——Rendezvous。如果从仔细统计该单词出现的
阅读全文
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 在经过TensorFlow的Placer策略模块调整之后,下一步就是根据Placement信息对Graph
阅读全文
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 在前一篇文章中,我们梳理了TensorFlow中各种异构Device的添加和注册机制,通过使用预先定义好的
阅读全文
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 受限于单个Device的计算能力和存储大小,许多深度学习模型都有着使用模型分片或相关策略的需求。模型分片的
阅读全文
摘要:背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 作为一款优秀的异构深度学习算法框架,TensorFlow可以在多种设备上运行算法程序,包括CPU,GPU,
阅读全文
浙公网安备 33010602011771号