随笔分类 -  yarn源码分析

摘要:基于作业大小因素,MRAppMaster提供了三种作业运行方式:本地Local模式、Uber模式、Non-Uber模式。其中, 1、本地Local模式:通常用于调试; 2、Uber模式:为降低小作业延迟而设计的一种模式,所有任务,不管是Map Task,还是Reduce Task,均在同一个Cont 阅读全文
posted @ 2016-06-03 15:20 吉日木图 阅读(365) 评论(0) 推荐(0)
摘要:AsyncDispatcher是Yarn中事件异步分发器,它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件,其在一个特定的单线程中分派事件,交给AsyncDispatcher中之前注册的针对该事件所属事件类型的事件处理器EventHandler来处理。每个事件类型类可能 阅读全文
posted @ 2016-06-03 15:19 吉日木图 阅读(394) 评论(0) 推荐(0)