zourui4271

博客园 首页 新随笔 联系 订阅 管理

2017年4月29日 #

摘要: DagScheduler 和 TaskScheduler 的任务交接 spark 调度器分为两个部分, 一个是 DagScheduler, 一个是 TaskScheduler, DagScheduler 主要是用来把一个 Job 根据宽依赖划分为多个Stage(阶段), 对于划分出来的每个 stag 阅读全文
posted @ 2017-04-29 14:54 zourui4271 阅读(455) 评论(0) 推荐(0)