2015年1月19日
spark内核揭秘-07-DAGScheduler源码解读初体验
摘要： 当构建完TaskScheduler之后，我们需要构建DAGScheduler这个核心对象：进入其构造函数中：可以看出构建DAGScheduler实例的时候需要把TaskScheduler实例对象作为参数传入。LiveListenerBus：MapOutputTrackerMaster：BlockMa... 阅读全文
posted @ 2015-01-19 20:55 stark_summer 阅读(295) 评论(0) 推荐(0)
spark内核揭秘-06-TaskSceduler启动源码解析初体验
摘要： TaskScheduler实例对象启动源代码如下所示：从上面代码可以看出来，taskScheduler的启动是在SparkContext找到TaskSchedulerImpl实现类中的start方法实现：1、从上代码看到，先启动CoarseGrainedSchedulerBackend，从上面Coa... 阅读全文
posted @ 2015-01-19 18:15 stark_summer 阅读(292) 评论(0) 推荐(0)
spark内核揭秘-05-SparkContext核心源码解析初体验
摘要： SparkContext在获得了一系列的初始化信息后开始创建并启动TaskScheduler实例：进入createTaskScheduler方法：我们看一下其Standalone的方式：在上述代码中首先实例化一个TaskSchedulerImpl：然后构建出了masterUrls：接着创建出关键的b... 阅读全文
posted @ 2015-01-19 15:08 stark_summer 阅读(160) 评论(0) 推荐(0)