摘要: 基于作业大小因素,MRAppMaster提供了三种作业运行方式:本地Local模式、Uber模式、Non-Uber模式。其中, 1、本地Local模式:通常用于调试; 2、Uber模式:为降低小作业延迟而设计的一种模式,所有任务,不管是Map Task,还是Reduce Task,均在同一个Cont 阅读全文
posted @ 2016-06-03 15:20 吉日木图 阅读(310) 评论(0) 推荐(0) 编辑
摘要: AsyncDispatcher是Yarn中事件异步分发器,它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件,其在一个特定的单线程中分派事件,交给AsyncDispatcher中之前注册的针对该事件所属事件类型的事件处理器EventHandler来处理。每个事件类型类可能 阅读全文
posted @ 2016-06-03 15:19 吉日木图 阅读(348) 评论(0) 推荐(0) 编辑
摘要: 我们知道,MapReduce有三层调度模型,即Job——>Task——>TaskAttempt,并且: 1、通常一个Job存在多个Task,这些Task总共有Map Task和Redcue Task两种大的类型(为简化描述,Map-Only作业、JobSetup Task等复杂的情况这里不做考虑); 阅读全文
posted @ 2016-06-03 15:18 吉日木图 阅读(274) 评论(0) 推荐(0) 编辑
摘要: v2版本的MapReduce作业中,作业JOB_SETUP_COMPLETED事件的发生,即作业SETUP阶段完成事件,会触发作业由SETUP状态转换到RUNNING状态,而作业状态转换中涉及作业信息的处理,是由SetupCompletedTransition来完成的,它主要做了四件事: 1、通过设 阅读全文
posted @ 2016-06-03 15:17 吉日木图 阅读(334) 评论(0) 推荐(0) 编辑
摘要: 作业Job状态机维护了MapReduce作业的整个生命周期,即从提交到运行结束的整个过程。Job状态机被封装在JobImpl中,其主要包括14种状态和19种导致状态发生的事件。 作业Job的全部状态维护在类JobStateInternal中,如下所示: [java] view plain copy 阅读全文
posted @ 2016-06-03 15:16 吉日木图 阅读(259) 评论(0) 推荐(0) 编辑
摘要: 在MRAppMaster中,当MapReduce作业初始化时,它会通过作业状态机JobImpl中InitTransition的transition()方法,进行MapReduce作业初始化相关操作,而这其中就包括: 1、调用createSplits()方法,创建分片,并获取任务分片元数据信息Task 阅读全文
posted @ 2016-06-03 15:15 吉日木图 阅读(342) 评论(0) 推荐(1) 编辑
摘要: 本文继《Yarn源码分析之MRAppMaster上MapReduce作业处理总流程(一)》,接着讲述MapReduce作业在MRAppMaster上处理总流程,继上篇讲到作业初始化之后的作业启动,关于作业初始化主体流程的详细介绍,请参见《Yarn源码分析之MRAppMaster上MapReduce作 阅读全文
posted @ 2016-06-03 15:12 吉日木图 阅读(285) 评论(0) 推荐(0) 编辑
摘要: 我们知道,如果想要在Yarn上运行MapReduce作业,仅需实现一个ApplicationMaster组件即可,而MRAppMaster正是MapReduce在Yarn上ApplicationMaster的实现,由其控制MR作业在Yarn上的执行。如此,随之而来的一个问题就是,MRAppMaste 阅读全文
posted @ 2016-06-03 15:11 吉日木图 阅读(366) 评论(0) 推荐(0) 编辑
摘要: mapreduce.job.reduce.slowstart.completedmaps是MapReduce编程模型中的一个参数,这个参数的含义是,当Map Task完成的比例达到该值后才会为Reduce Task申请资源,默认是0.05,其在接口MRJobConfig中表示如下: [java] v 阅读全文
posted @ 2016-06-03 15:11 吉日木图 阅读(1074) 评论(0) 推荐(0) 编辑
摘要: JobSubmitter,顾名思义,它是MapReduce中作业提交者,而实际上JobSubmitter除了构造方法外,对外提供的唯一一个非private成员变量或方法就是submitJobInternal()方法,它是提交Job的内部方法,实现了提交Job的所有业务逻辑。本文,我们将深入研究Map 阅读全文
posted @ 2016-06-03 15:10 吉日木图 阅读(248) 评论(0) 推荐(0) 编辑