06 2017 档案

【Spark2.0源码学习】-10.Task执行与回馈
摘要：通过上一节内容，DriverEndpoint最终生成多个可执行的TaskDescription对象，并向各个ExecutorEndpoint发送LaunchTask指令，本节内容将关注ExecutorEndpoint如何处理LaunchTask指令，处理完成后如何回馈给DriverEndpoint， 阅读全文
posted @ 2017-06-09 10:40 hframe 阅读(1370) 评论(0) 推荐(0)
【Spark2.0源码学习】-9.Job提交与Task的拆分
摘要：在前面的章节Client的加载中，Spark的DriverRunner已开始执行用户任务类（比如：org.apache.spark.examples.SparkPi），下面我们开始针对于用户任务类（或者任务代码）进行分析 一、整体预览 基于上篇图做了扩展，增加任务执行的相关交互 Code：指的用户编 阅读全文
posted @ 2017-06-01 10:36 hframe 阅读(3342) 评论(0) 推荐(3)