摘要： 相关类：MapOutputTrackerMessage，GetMapOutputStatuses extends MapPutputTrackerMessage，StopMapOutputTracker extends MapOutputTrackerMessage，MapOutputTracker... 阅读全文

摘要： 一、BlockResult类该类用来表示返回的匹配的block及其相关的参数。共有三个参数：data：Iterator [Any]。readMethod： DataReadMethod.Value。bytes： Long。实例化InputMetrics类。二、BlockManager类关系的参数有e... 阅读全文

摘要： TaskSetManager.scalaTaskSet是指一系列被提交的task，一般是代表特定的stage中丢失的partition。TaskSetManager通过一个TaskSchedulerImpl实体来对TaskSet进行管理。该方法定义了以下参数：EXECUTOR_TASK_BLACKL... 阅读全文

摘要： 许久没有写博客了，没有太多时间，最近陆续将Spark源码的一些阅读笔记传上，接下来要修改Spark源码了。这个类继承于TaskScheduler类，重载了TaskScheduler中的大部分方法，是Task调度的实际操作。1、检测推测执行间隔，最大响应时间，每个task的CPU数。2、指定调度模式S... 阅读全文