Hadoop | 配置日志聚集

配置日志聚集

---

功能：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上
注意：开启日志聚集功能， 需要重新启动 NodeManager 、ResourceManager 和 HistoryServer

1. 配置yarn-site.xml

<!-- 开启日志聚集功能 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置日志聚集服务器地址 -->
<property>
  <name>yarn.log.server.url</name>
  <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

<!-- 设置日志保留时间为 7 天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

2. 分发配置 xsync
3. 关闭 NodeManager 、ResourceManager 和 HistoryServer

##在yarn启动机器上
sbin/stop-yarn.sh
mapred --daemon stop historyserver

4. 启动NodeManager、ResourceManage和 HistoryServer

start-yarn.sh
mapred --daemon start historyserver

5. 删除HDFS上已经存在的输出文件

hadoop fs -rm -r /output

6. 检测 启动WordCount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

7. 查看日志
8. 历史服务器 http://hadoop102:19888/jobhistory