YARN上运行MapReduce 程序——悟空智慧教育

1）分析：

（1）准备1台客户机

（2）安装jdk

（3）配置环境变量

（4）安装hadoop

（5）配置环境变量

（6）配置集群yarn上运行

（7）启动、测试集群增、删、查

（8）在yarn上执行wordcount案例

2）执行步骤

（1）配置集群

（a）配置yarn-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.7.0_79

（b）配置yarn-site.xml

<!-- reducer获取数据的方式 -->

<property>

 <name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

</property>

 

<!-- 指定YARN的ResourceManager的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop101</value>

</property>

（c）配置：mapred-env.sh

配置一下JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.7.0_79

（d）配置： (对mapred-site.xml.template重新命名为) mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

（2）启动集群

（a）启动resourcemanager

sbin/yarn-daemon.sh start resourcemanager

（b）启动nodemanager

sbin/yarn-daemon.sh start nodemanager

（3）集群操作

（a）yarn的浏览器页面查看

http://192.168.1.101:8088/cluster

 

（b）删除文件系统上的output文件

bin/hdfs dfs -rm -R /user/hadoop/mapreduce/wordcount/output

（c）执行mapreduce程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/hadoop/mapreduce/wordcount/input  /user/hadoop/mapreduce/wordcount/output

（d）查看运行结果

bin/hdfs dfs -cat /user/hadoop/mapreduce/wordcount/output/*

 以上文章内容来源于《悟空智慧教育》：www.wukongone.com，《悟空智慧教育》是一家专业的大数据视频教学网，专属定制您的未来。