Hadoop | 配置日志聚集

配置日志聚集


功能:应用运行完成以后,将程序运行日志信息上传到 HDFS 系统上
注意:开启日志聚集功能, 需要重新启动 NodeManager 、ResourceManager 和 HistoryServer

  1. 配置yarn-site.xml
<!-- 开启日志聚集功能 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>
  <name>yarn.log.server.url</name>
  <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为 7 天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>
  1. 分发配置 xsync
  2. 关闭 NodeManager 、ResourceManager 和 HistoryServer
##在yarn启动机器上
sbin/stop-yarn.sh
mapred --daemon stop historyserver

  1. 启动NodeManager、ResourceManage和 HistoryServer
start-yarn.sh
mapred --daemon start historyserver
  1. 删除HDFS上已经存在的输出文件
hadoop fs -rm -r /output
  1. 检测 启动WordCount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
  1. 查看日志
  2. 历史服务器 http://hadoop102:19888/jobhistory
posted @ 2021-07-07 23:45  —清风碎心—  阅读(92)  评论(0编辑  收藏  举报