2017年8月12日
Spark技术在京东智能供应链预测的应用——按照业务进行划分，然后利用scikit learn进行单机训练并预测
摘要： 3.3 Spark在预测核心层的应用 我们使用Spark SQL和Spark RDD相结合的方式来编写程序，对于一般的数据处理，我们使用Spark的方式与其他无异，但是对于模型训练、预测这些需要调用算法接口的逻辑就需要考虑一下并行化的问题了。我们平均一个训练任务在一天处理的数据量大约在500G左右， 阅读全文
posted @ 2017-08-12 11:42 bonelee 阅读(478) 评论(0) 推荐(0)
SaltStack介绍——SaltStack是一种新的基础设施管理方法开发软件,简单易部署,可伸缩的足以管理成千上万的服务器,和足够快的速度控制,与他们交流
摘要： SaltStack介绍和架构解析 SaltStack介绍和架构解析 简介 SaltStack是一种新的基础设施管理方法开发软件,简单易部署,可伸缩的足以管理成千上万的服务器,和足够快的速度控制,与他们交流,以毫秒为单位。SaltStack提供了一个动态基础设施通信总线用于编排,远程执行、配置管理等等 阅读全文
posted @ 2017-08-12 11:20 bonelee 阅读(429) 评论(1) 推荐(0)
英特尔深度学习框架BigDL——a distributed deep learning library for Apache Spark
摘要： BigDL: Distributed Deep Learning on Apache Spark What is BigDL? BigDL is a distributed deep learning library for Apache Spark; with BigDL, users can w 阅读全文
posted @ 2017-08-12 11:05 bonelee 阅读(542) 评论(0) 推荐(0)