瞌睡中的葡萄虎

摘要： SparkContext作为整个Spark的入口，不管是spark、sparkstreaming、spark sql都需要首先创建一个SparkContext对象，然后基于这个SparkContext进行后续RDD的操作；所以很有必要了解下SparkContext在初始化时干了什么事情。SparkC... 阅读全文

摘要： DAGScheduler概述：是一个面向Stage层面的调度器；主要入参有：dagScheduler.runJob(rdd,cleanedFunc, partitions, callSite, allowLocal,resultHandler, localProperties.get)rdd： fi... 阅读全文

摘要： Master.preStart(){ webUi.bind() context.system.scheduler.schedule(0 millis, WORKER_TIMEOUT millis, self, CheckForWorkerTimeOut) //定时任务检测是否有DEAD WORK... 阅读全文

摘要： override def preStart() { webUi = new WorkerWebUI(this, workDir, Some(webUiPort)) webUi.bind() //创建并绑定UI registerWithMaster() //注册到Master}d... 阅读全文