2016年7月28日

第7课:Spark机器学习内幕剖析

摘要: 阅读全文

posted @ 2016-07-28 12:57 l_time 阅读(89) 评论(0) 推荐(0)

Spark 定制版:018~Spark Streaming中空RDD处理及流处理程序优雅的停止

摘要: 本讲内容: a. Spark Streaming中的空RDD处理 b. Spark Streaming程序的停止 注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解 上节回顾 上一讲中,我们要给大家解密park Streaming两个比较高级的特性,资源动态申 阅读全文

posted @ 2016-07-28 12:56 l_time 阅读(649) 评论(0) 推荐(0)

Spark 定制版:017~Spark Streaming资源动态申请和动态控制消费速率原理剖析

摘要: 本讲内容: a. Spark Streaming资源动态分配 b. Spark Streaming动态控制消费速率 注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解 上节回顾 上一讲中,我们要给大家解密Spark Streaming中数据清理的流程,主要从背 阅读全文

posted @ 2016-07-28 12:53 l_time 阅读(571) 评论(0) 推荐(0)

Spark 定制版:016~Spark Streaming源码解读之数据清理内幕彻底解密

摘要: 本讲内容: a. Spark Streaming数据清理原因和现象 b. Spark Streaming数据清理代码解析 注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。 上节回顾 上一讲中,我们之所以用一节课来讲No Receivers,是因为企业级Sp 阅读全文

posted @ 2016-07-28 12:52 l_time 阅读(168) 评论(0) 推荐(0)

Spark 定制版:015~Spark Streaming源码解读之No Receivers彻底思考

摘要: 本讲内容: a. Direct Acess b. Kafka 注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。 上节回顾 上一讲中,我们讲Spark Streaming中一个非常重要的内容:State状态管理 a. 为了说明state状态管理,拿两个非常具 阅读全文

posted @ 2016-07-28 12:48 l_time 阅读(244) 评论(0) 推荐(0)

Spark 定制版:014~Spark Streaming源码解读之State管理之updateStateByKey和mapWithState解密

摘要: 本讲内容: a. updateStateByKey解密 b. mapWithState解密 注:本讲内容基于Spark 1.6.1版本(在2016年5月来说是Spark最新版本)讲解。 上节回顾 上一讲中,我们从Spark Streaming源码解读Driver容错安全性:那么什么是Driver容错 阅读全文

posted @ 2016-07-28 12:46 l_time 阅读(451) 评论(0) 推荐(0)

导航