文章分类 -  YARN

YARN 提交作业
摘要：提交MR作业到YARN运行 shell命令： hadoop jar （jar包） （处理类） （参数，如果有） 例如：hadoop jar xxxx.jar pi 2 3 阅读全文
posted @ 2018-02-28 10:45 猴子1 阅读(134) 评论(0) 推荐(0)
YARN 环境准备、启动
摘要：1、配置：<!--etc/hadoop/yarn-site.xml--><!--配置MR运行在哪个上面？YARN上--><property> <name>mapreduce.framework.name</name> <value>yarn</value></property><!--etc/had 阅读全文
posted @ 2018-02-27 18:02 猴子1 阅读(180) 评论(0) 推荐(0)
HDFS Yarn简介和运行流程
摘要：YARN：不同的计算框架可以共享同一HDFS集群上的数据，享受整体的资源调度（可以使MR，HDFS，Spark，storm等共用同一集群的框架，YARN可以按框架的资源需求量做出合适的分配） YARN架构： 1、ResourceManager：RM 整个集群同一时间提供服务的RM只有一个，负责集群资 阅读全文
posted @ 2018-02-27 17:31 猴子1 阅读(336) 评论(0) 推荐(0)