hadoop集群搭建之测试集群，配置历史服务器，日志聚集，时间同步

hadoop集群搭建之测试集群，配置历史服务器，日志聚集，时间同步
前期概要：我们完全分布式集群已经搭建完毕，并且还写了群启/群关的脚本，

接下来有必要来测试一遍集群，我们可以使用官方的案例，用它们在集群上跑一遍

运行官方wordcount案例
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput
1
思考，这里的/wcinput和/wcoutput目录是哪儿的？？

发现不是本地的，这是有core-site.xml中fs.defaultFS配置决定的，默认是本地，现在我们配置为了 hdfs://hadoop102:9820

配置历史服务器
历史服务器是针对MR程序执行的历史纪录

配置步骤：mapred-site.xml

[atguigu@hadoop102 hadoop]$ vim mapred-site.xml
[atguigu@hadoop102 hadoop]$ 添加如下配置
1
2
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop102:19888</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
修改了配置分发一下

[atguigu@hadoop102 hadoop-3.1.3]$ my_rsync.sh etc/hadoop/mapred-site.xml
1
启动历史服务器

[atguigu@hadoop102 hadoop-3.1.3]$ mapred --daemon start historyserver
1

日志聚集功能
日志是针对MR程序运行时所产生的日志

目的：方便后期分析问题，有更好的 执行过程的一句

配置步骤：yarn-site.xml

开启日志聚集功能

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml
[atguigu@hadoop102 hadoop]$ 添加如下配置
1
2
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 分发配置
[atguigu@hadoop102 hadoop-3.1.3]$ my_rsync.sh etc/hadoop/yarn-site.xml
1
2
启动集群

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

再重新泡跑个job,然后查看日志聚集效果

 

集群时间同步
时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。

 

 

 

 

————————————————
版权声明：本文为CSDN博主「倔强的耗子」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/weixin_44178366/article/details/120396407

搜索

复制