Yarn - 随笔分类 - 南国故人（Wall）

Livy原理详解

摘要：概述当前spark上的管控平台有spark job server，zeppelin，由于spark job server和zeppelin都存在一些缺陷，比如spark job server不支持提交sql，zeppelin不支持jar包方式提交，并且它们都不支持yarn cluster模式，只能阅读全文

posted @ 2017-02-12 15:24 南国故人（Wall）阅读(12210) 评论(0) 推荐(0)

YARN Application执行流程

摘要：原文见 http://xiguada.org/yarn-application_run/ 本节简单描述了一个Application在YARN上的执行流程，希望对初识YARN的同学提供一些帮助。图1 Application执行流程客户端提交作业到RM。 RM在调度器中创建一个新的AppAttemp 阅读全文

posted @ 2014-03-13 11:07 南国故人（Wall）阅读(2365) 评论(3) 推荐(1)

[NM 状态机2] Container状态机详解

摘要：概述前面已经分析了RM的状态机，接下来将分析NM的状态机，NM状态机包括Container，Application，LocalizedResource三个，其中Container相对较复杂。现在我们分析Container的状态机。另外3展示了LocalizedResource的状态机图，由于其状态机比较简单，这里不再详细分析，读者可以自行查看相关代码。本文的分析基于社区Apache Hadoop最新的2.3.0版本。NodeManager维护着本节点执行的任务（container），从图1中可以看出其维护了containerID，user，resource等信息。Container的实现类为C 阅读全文

posted @ 2014-03-10 16:25 南国故人（Wall）阅读(2250) 评论(0) 推荐(0)

[NM 状态机1] Application状态机详解

摘要：概述前面已经分析了RM的状态机，接下来将分析NM的状态机，NM状态机包括Container，Application，LocalizedResource三个。首先我们分析Application的状态机。NodeManager维护着本节点执行的Application，从图1中可以看出其维护了user，containers，AppId和状态信息。Application的实现类为ApplicationImpl。图2展示了Application的状态机。图1 Application接口图2 Application状态机图Application状态转换与解释NEW,在NM中，ContainerManage 阅读全文

posted @ 2014-03-10 09:37 南国故人（Wall）阅读(1808) 评论(0) 推荐(1)

[RM 状态机详解4] RMNode状态机详解

摘要：摘要RMNode状态机是ResourceManager的四个状态机（RMApp，RMAppAttempt，RMContainer，RMNode）中最简单的一个，状态机如图1所示。RMNode是ResourceManager用于保存NM信息的类，包括NM的机器名，地址，端口，状态等信息。图1 RMNode状态机图RMNode状态与转换详解NEW, 每个NM启动的时候都会通过ResourceTracker协议向RM注册，RM便会创建RMNodeImpl对象，这时RMNodeImpl的状态被初始化为NEW。RUNNING, 在RM处理NM注册期间，新建RMNodeImpl对象后，会创建RMNodeE 阅读全文

posted @ 2014-03-09 16:31 南国故人（Wall）阅读(925) 评论(0) 推荐(0)

[RM 状态机详解3]RMContainer状态机详解

摘要：摘要RMContainer是RM内部维护的Container状态。事实上，在RM的调度器中，会维护着一个liveContainers列表，保存着所有存活着的Container信息。图1显示RMContainer接口，从中可以看到，RMContainer主要维护了containerID，ApplicationAttemptId，state，reserved等信息。图1 RMContainer接口作为RMContainer实现类，RMContainerImpl维护了一个状态机，图2是其状态机图。图2 RMContainer状态机图相对于RMApp和RMAppAttempt的状态机RMCont 阅读全文

posted @ 2014-03-09 14:40 南国故人（Wall）阅读(1478) 评论(0) 推荐(1)

[RM 状态机详解2] RMAppAttempt状态机详解

摘要：摘要本文详细描述RMAppAttempt状态机内的状态与其转换关系，分析的代码基于Apache社区Hadoop最新的2.3.0版本。RMAppAttempt状态机在RM中，一个RMApp可能对于一到多个RMAppAttempt，即假如RMApp的第一个RMAppAttempt失败后，RM会根据配置启动新的RMAppAttempt。RMAppAttempt内部维护了进度，运行的机器信息，起始时间，URL等信息。其中最复杂的信息是RMAppAttempt的状态机信息。 private static final StateMachineFactory stateMachineFacto... 阅读全文

posted @ 2014-03-07 20:15 南国故人（Wall）阅读(1985) 评论(0) 推荐(0)

[RM 状态机详解1] RMApp状态机详解

摘要：概述 Apache Hadoop 2.0在Hadoop 1.0基础上做了许多的重构工作，代码上的重构最大的变化在于引入状态机处理各个角色的状态与变迁，使用状态机是得代码结构更加清晰，方便异步处理各种操作。对于Yarn集群的维护者来说，熟悉这些状态机的流程是非常基本的要求。Hadoop 2.0当前包含十个状态机，分别是：ResourceManager下RMApp，RMAppAttempt，RMContainer，RMNode；NodeManager下的Application，Container，LocalizedResource；MapReduce下的Job，Task，TaskAttempt。笔阅读全文

posted @ 2014-03-07 15:29 南国故人（Wall）阅读(2292) 评论(0) 推荐(0)

Yarn上的几个问题整理

摘要：原文链接 http://xiguada.org/yarn_some_question/ ‎ 1. NodeManager是如何Kill掉Container的呢？答，在DefaultContainerExecutor中， a. 使用命令行kill一个app后，ContainerLaunch中的han 阅读全文

posted @ 2014-02-23 20:33 南国故人（Wall）阅读(6001) 评论(0) 推荐(0)

Yarn中如何生成状态机图

摘要：原文 http://xiguada.org/yarn_state_picture/ 在Hadoop2.0系列的版本里，采用了状态机的方式处理ResourceManager，NodeManager，MapReduce中状态的变迁。那如何生成相应的状态机图呢？其实社区已经为我们提供了生成状态机图的方法，阅读全文

posted @ 2014-02-23 20:26 南国故人（Wall）阅读(506) 评论(0) 推荐(0)

[RM HA4] RM状态存储与还原原理详解

摘要：RM状态存储与还原机制详解转载请注明原始链接http://www.cnblogs.com/shenh062326/p/3562199.html。摘要本文基于Apache Hadoop社区最新release版本2.3.0编写，社区从2.3.0开始支持ResourceManager的HA，已经实现的功能包括RM状态信息的存储与还原，客户端（clientToRM, AMToRM, NMToRM）实现RPC重试机制，增加Active与Standby RM角色，支持手动切换Active与Standby RM，还不支持RM的热备（自动主备切换），不支持RM切换后正在运行运行的Container不被Ki. 阅读全文

posted @ 2014-02-23 17:53 南国故人（Wall）阅读(2902) 评论(4) 推荐(0)

YARN集群维护部分问题汇总

摘要：云梯开发人员在云梯Yarn集群的搭建和维护过程中做了许多工作，本文选择这期间部分较为典型的问题，通过对这些问题的分析和解决方案，为大家分享分布式系统问题调查的经验。调查的问题1. 2013年初引入社区0.23时，调查ResourceManager运行过程汇总突然挂掉的问题现象：监控报警，线上运行的RM突然挂掉，RM异常日志如下，2012-12-17 17:20:28,294 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error in handling event type APP_REMOVED t 阅读全文

posted @ 2014-02-15 20:09 南国故人（Wall）阅读(3983) 评论(1) 推荐(1)

[RM HA3] Zookeeper在RM HA的应用

摘要：[RM HA3] Zookeeper在RM HA的应用RM HA（ResourceManager HighAvailability）中使用Zookeeper的地方在ZKRMStateStore和ZKFailoverController，ZKRMStateStore继承于抽象类RMStateStore，从名字上可以看出RMStateStore是存储RM状态的存储器，ZKRMStateStore是其中的一种实现——使用Zookeeper存储RM状态。抽象类ZKFailoverController通过Zookeeper实现Master的Auto Failover，社区最新版本2.3只用在HDFS上控阅读全文

posted @ 2014-02-13 11:39 南国故人（Wall）阅读(1788) 评论(0) 推荐(0)

[RM HA 2] Hadoop 2.0 ResourceManager HA原理

摘要：继上篇文章验证Cloudera RM HA功能后，现在开始分析Cloudera RM HA的原理。设计目标主要目的是为了解决两种问题计划外的机器挂掉计划内的如软件和硬件升级等. 架构流程：两个RM, 启动的时候都是standby, 进程启动以后状态未被加载, 转换为active后才会加载相应的状态并启动服务. RM的状态通过配置可以存储在zookeeper, HDFS上。Standby转换到active可以通过命令或开启auto failover。 RM 的作业信息存储在ZK的/rmstore下，Active RM向这个目录写App信息。 RM启动的时候会通过向ZK的/hadoop-ha 阅读全文

posted @ 2014-01-22 11:19 南国故人（Wall）阅读(2861) 评论(0) 推荐(0)

[RM HA 1] Cloudera CDH5 RM HA功能验证

摘要：简介: 最新的Cloudera CDH5.0.0 beta版本已经支持RM的HA, 笔者为此简单验证了RM HA的功能. 后续将继续分析其HA的原理,以及其与社区RM HA的区别.集群部属与RM failover功能性验证硬件准备四台机器, bj1, bj3, bj4, bj5 准备好相应的环境(包括ssh互通, java环境). 角色说明, bj1为rm1, bj3为rm2, bj4和bj4为slave. Zookeeper部属在bj1上. Hadoop版本准备http://archive.cloudera.com/cdh5/cdh/5/ 下载相应的CDH5版本hadoop-2.2.0-c 阅读全文

posted @ 2014-01-22 09:50 南国故人（Wall）阅读(1855) 评论(0) 推荐(0)

深入剖析阿里巴巴云梯YARN集群

摘要：我的一篇文章已经发表在程序员2013年11月刊中, 原文链接为http://www.csdn.net/article/2013-12-04/2817706--YARN. 欢迎大家阅读与评论! 阅读全文

posted @ 2014-01-02 10:13 南国故人（Wall）阅读(416) 评论(0) 推荐(0)

Hortworks Hadoop生态圈简介

摘要：Hortworks Hadoop生态圈阅读全文

posted @ 2013-10-20 15:02 南国故人（Wall）阅读(2756) 评论(0) 推荐(0)

HistoryServer的原理详解

摘要：本文介绍了YARN中historyServer的原理和配置阅读全文

posted @ 2012-12-16 13:19 南国故人（Wall）阅读(10911) 评论(1) 推荐(0)

hadoop 2.0 中的两种RPC详解

摘要：Hadoop 2.0中存在两个ipc包, 分别为hadoop RPC和新的YarnRPC, 本文简要描述了两种RPC. 阅读全文