摘要: 背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 在前一篇文章中,我们梳理了TensorFlow中各种异构Device的添加和注册机制,通过使用预先定义好的 阅读全文
posted @ 2018-11-25 21:46 DeepLearningStack 阅读(7537) 评论(2) 推荐(1) 编辑
摘要: 背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 受限于单个Device的计算能力和存储大小,许多深度学习模型都有着使用模型分片或相关策略的需求。模型分片的 阅读全文
posted @ 2018-10-28 19:55 DeepLearningStack 阅读(5017) 评论(1) 推荐(3) 编辑
摘要: 背景 [作者:DeepLearningStack,阿里巴巴算法工程师,开源TensorFlow Contributor] 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 作为一款优秀的异构深度学习算法框架,TensorFlow可以在多种设备上运行算法程序,包括CPU,GPU, 阅读全文
posted @ 2018-07-15 20:35 DeepLearningStack 阅读(4777) 评论(0) 推荐(5) 编辑
摘要: 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 主要包括以下三部分,本文为第三部分: 一. Scala环境准备 查看二. Hadoop集群(伪分布模式)安装 查看三. Spark集群(standalone模式)安装 Spark集群(standalone模式)安装 若使用spa 阅读全文
posted @ 2018-07-15 18:51 DeepLearningStack 阅读(1685) 评论(0) 推荐(0) 编辑
摘要: 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 主要包括以下三部分,本文为第二部分: 一. Scala环境准备 查看 二. Hadoop集群(伪分布模式)安装 三. Spark集群(standalone模式)安装 查看 Hadoop集群(伪分布模式)安装 依赖项:jdk(ha 阅读全文
posted @ 2018-07-15 17:55 DeepLearningStack 阅读(1478) 评论(0) 推荐(0) 编辑
摘要: 欢迎大家关注我的公众号,“互联网西门二少”,我将继续输出我的技术干货~ 主要包括以下三部分,本文为第一部分: 一. Scala环境准备 二. Hadoop集群(伪分布模式)安装 查看 三. Spark集群(standalone模式)安装 查看 因Spark任务大多由Scala编写,因此,首先需要准备 阅读全文
posted @ 2018-07-15 17:41 DeepLearningStack 阅读(2319) 评论(0) 推荐(0) 编辑