2019年7月1日
Spark任务调度流程及调度策略分析
摘要： Spark任务调度 TaskScheduler调度入口： （1）CoarseGrainedSchedulerBackend 在启动时会创建DriverEndPoint. 而DriverEndPoint中存在一定时任务，每隔一定时间（spark.scheduler.revive.interval, 默 阅读全文
posted @ 2019-07-01 15:44 大葱拌豆腐 阅读(2870) 评论(0) 推荐(0)
Spark资源调度及任务调度
摘要： 1、 资源分配 通过SparkSubmit进行提交应用后，首先会创建Client将应用程序(字节码文件.class)包装成Driver,并将其注册到Master。Master收到Client的注册请求后将其加入待调度队列waitingDrivers，并等待分配执行资源。 1.1 Dirver调度(分 阅读全文
posted @ 2019-07-01 15:02 大葱拌豆腐 阅读(883) 评论(0) 推荐(0)