摘要:
3.3 Spark在预测核心层的应用 我们使用Spark SQL和Spark RDD相结合的方式来编写程序,对于一般的数据处理,我们使用Spark的方式与其他无异,但是对于模型训练、预测这些需要调用算法接口的逻辑就需要考虑一下并行化的问题了。我们平均一个训练任务在一天处理的数据量大约在500G左右, 阅读全文
posted @ 2017-08-12 11:42
bonelee
阅读(471)
评论(0)
推荐(0)
摘要:
SaltStack介绍和架构解析 SaltStack介绍和架构解析 简介 SaltStack是一种新的基础设施管理方法开发软件,简单易部署,可伸缩的足以管理成千上万的服务器,和足够快的速度控制,与他们交流,以毫秒为单位。SaltStack提供了一个动态基础设施通信总线用于编排,远程执行、配置管理等等 阅读全文
posted @ 2017-08-12 11:20
bonelee
阅读(426)
评论(1)
推荐(0)
摘要:
BigDL: Distributed Deep Learning on Apache Spark What is BigDL? BigDL is a distributed deep learning library for Apache Spark; with BigDL, users can w 阅读全文
posted @ 2017-08-12 11:05
bonelee
阅读(539)
评论(0)
推荐(0)