Spark 源码系列 - DAGScheduler 概述

目录

• 结论
• 为什么不直接在主线程完成

结论

1. DAGScheduler 在主线程提交任务到EventLoop阻塞队列中
2. DAGScheduler 在主线程等待异步任务的执行完成
3. EventLoop 回调 DAGScheduler的onReceive方法，进行Stage拆分

为什么不直接在主线程完成

猜想是因为采用 "生产消费" 设计，调度在EventLoop中完成，主线程实现功能细节。