Hadoop配置JobHistory

1.修改/usr/local/hadoop/etc/hadoop/yarn-site.xml，添加如下代码

    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
    </property>   
    <!-- 配置日志服务器的地址,work节点使用 -->
    <property>
         <name>yarn.log.server.url</name>
         <value>http://master1:19888/jobhistory/logs</value>
    </property>
    <!-- 配置日志过期时间,单位秒 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>

2.修改/usr/local/hadoop/etc/hadoop/mapred-site.xml,添加如下代码

    <!--配置jobhistory的地址和web管理地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master1:19888</value>
    </property>

3.将上面两文件修改同步到集群中的所有机器的/usr/local/hadoop/etc/hadoop

4.在集群中的任意一台机器机动jobhistory（当前只在master1上启动, 根据步骤2上的设置）

/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

5.重启hadoop集群(/usr/local/hadoop/sbin/stop-all.sh, /usr/local/hadoop/sbin/start-all.sh)

6.启动完之后，就可以通过http://master1:19888/访问