Spark Scheduler模块源码分析之DAGScheduler
摘要：
本文主要结合Spark-1.6.0的源码，对Spark中任务调度模块的执行过程进行分析。Spark Application在遇到Action操作时才会真正的提交任务并进行计算。这时Spark会根据Action操作之前一系列Transform操作的关联关系，生成一个DAG，在后... 阅读全文
posted @ 2016-07-13 23:47 吴一达 阅读(218) 评论(0) 推荐(0)
浙公网安备 33010602011771号