05 2016 档案

Spark版本定制八：Spark Streaming源码解读之RDD生成全生命周期彻底研究和思考
摘要：本期内容： 1、DStream与RDD关系彻底研究 2、Streaming中RDD的生成彻底研究 一、DStream与RDD关系彻底研究 课前思考： RDD是怎么生成的？ RDD依靠什么生成？根据DStream来的 RDD生成的依据是什么？ Spark Streaming中RDD的执行是否和Spar 阅读全文

posted @ 2016-05-23 22:25 Harvey.Sun 阅读(308) 评论(0) 推荐(0)

Spark版本定制七：Spark Streaming源码解读之JobScheduler内幕实现和深度思考
摘要：本期内容： 1，JobScheduler内幕实现 2，JobScheduler深度思考 摘要：JobScheduler是Spark Streaming整个调度的核心，其地位相当于Spark Core上的调度中心中的DAGScheduler！ 一、JobScheduler内幕实现 问：JobSched 阅读全文

posted @ 2016-05-22 07:58 Harvey.Sun 阅读(439) 评论(0) 推荐(0)

spark版本定制六：Spark Streaming源码解读之Job动态生成和深度思考
摘要：本期内容： 1、Spark Streaming Job生成深度思考 2、Spark Streaming Job生成源码解析 一、Spark Streaming Job生成深度思考 源码解析： 1. 在大数据处理场景中，如果不是流处理的话，一般会有定时任务。例如10分钟触发一次，1个小时触发一次，这就 阅读全文

posted @ 2016-05-12 22:39 Harvey.Sun 阅读(285) 评论(0) 推荐(0)

spark版本定制五：基于案例一节课贯通Spark Streaming流计算框架的运行源码
摘要：本期内容： 1、在线动态计算分类最热门商品案例回顾与演示 2、基于案例贯通Spark Streaming的运行源码 一、在线动态计算分类最热门商品案例回顾与演示 案例回顾： package com.dt.spark.sparkstreaming import com.robinspark.utils 阅读全文

posted @ 2016-05-08 12:04 Harvey.Sun 阅读(346) 评论(0) 推荐(0)

spark版本定制四：Spark Streaming的Exactly-One的事务处理
摘要：本期内容： 1、Exactly once 2、输出不重复 事务概念：比如银行转账，数据一定会被处理，且只被处理一次，能够输出，且只能输出一次，A转账给B只输出一次，B接收且只接收一次，双方要么同时成功或者同时失败！ 一、Exactly once Spark Core是怎么处理一个Job的？具体过程如 阅读全文

posted @ 2016-05-07 16:58 Harvey.Sun 阅读(217) 评论(0) 推荐(0)

spark版本定制三：SparkStreaming 透彻理解三板斧之三：解密SparkStreaming运行机制和架构进阶之Job和容错
摘要：本期内容： 1、解密Spark Streaming Job架构和运行机制 2、解密Spark Streaming 容错架构和运行机制 一、解密Spark Streaming Job架构和运行机制 通过代码洞察Job的执行过程： 通过观察Job在Spark集群上运行的Log和结合源代码分析出如下流程： 阅读全文

posted @ 2016-05-07 14:11 Harvey.Sun 阅读(133) 评论(0) 推荐(0)

Spark版本定制二：通过案例对SparkStreaming透彻理解三板斧之二：解密SparkStreaming运行机制和架构
摘要：本期内容： 1、解密Spark Streaming运行机制 2、解密Spark Streaming架构 上期回顾： 1、技术界的寻龙点穴，每个领域都有自己的龙脉，Spark就是大数据界的龙脉，Spark Streaming就是Spark的龙血； 2、采用了降维(把时间Batch Interval放大 阅读全文

posted @ 2016-05-07 10:09 Harvey.Sun 阅读(195) 评论(0) 推荐(0)

Spark版本定制一：通过案例对SparkStreaming透彻理解三板斧之一
摘要：本期内容： 1 Spark Streaming另类在线实验 2 瞬间理解Spark Streaming本质 本期内容： 1 Spark Streaming另类在线实验 2 瞬间理解Spark Streaming本质 问：为什么从Spark Streaming来切入spark源码版本订制？ Spark 阅读全文

posted @ 2016-05-05 15:23 Harvey.Sun 阅读(266) 评论(0) 推荐(0)

导航