配置日志聚集
功能:应用运行完成以后,将程序运行日志信息上传到 HDFS 系统上
注意:开启日志聚集功能, 需要重新启动 NodeManager 、ResourceManager 和 HistoryServer
- 配置yarn-site.xml
<!-- 开启日志聚集功能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为 7 天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
- 分发配置
xsync
- 关闭 NodeManager 、ResourceManager 和 HistoryServer
##在yarn启动机器上
sbin/stop-yarn.sh
mapred --daemon stop historyserver
- 启动NodeManager、ResourceManage和 HistoryServer
start-yarn.sh
mapred --daemon start historyserver
- 删除HDFS上已经存在的输出文件
hadoop fs -rm -r /output
- 检测 启动WordCount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
- 查看日志
- 历史服务器 http://hadoop102:19888/jobhistory