Hadoop 群起集群并测试

配置 workers

 vim $HADOOP_HOME/etc/hadoop/workers

修改为以下内容

 hadoop102
 hadoop103
 hadoop104

注：文中不要有空行 文末不要有空格

同步更改到其他服务器上

 xsync workers

启动集群

注：第一次启动集群需要初始化

初始化

 hdfs namenode -format

启动HDFS

 /opt/module/hadoop-3.1.3/sbin/start-dfs.sh

输入命令 jps 可以看到节点情况

(中间启动失败了一次，给我整慌了，仔细检查一遍原来配置 hdfs-site.xml 时代码写错了)

在配置了 ResourceManager 的节点（hadoop103）启动YARN

 /opt/module/hadoop-3.1.3/sbin/start-yarn.sh

(中间 nodemanager 一直无法启动，查来查去是yarn-site.sh 中的问题)

 

Web端查看HDFS的NameNode

浏览器中输入：http://hadoop102:9870

查看HDFS上存储的数据信息

 

Web端查看YARN的ResourceManager

浏览器中输入：http://hadoop103:8088

查看YARN上运行的Job信息