分布式计算 -2025/8/28

分布式计算概述

MapReduce概述

YARN概述

资源调度

YARN架构

主体架构

辅助架构

Web代理服务器

JobHistoryServer

#启动HDFS
start-dfs.sh
#启动YARN集群
start-yarn.sh
#启动或停止历史服务器
mapred --daemon start historyserver



http://node1:9870 // 查看HDFS系统的状态
http://node1:8088 //查看YARN集群的监控界面

单进程启停

提交MapReduce程序至YARN中运行

查看日志界面 http://node1:8088/cluster/apps

#单词计数
[hadoop@node1 hadoop]$ hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.1.jar wordcount hdfs://node1:8020/input hdfs://node1:8020/output/wc


#求PI
[hadoop@node1 hadoop]$ hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.1.jar pi 3 1000