随笔分类 -  hadoop-yarn

hadoop集群zookeeper迁移
摘要：1. zookeeper作用 ZooKeepr在Hadoop中的应用主要有： 1.1 HDFS中NameNode的HA和YARN中ResourceManager的HA。 1.2 存储RMStateStore状态信息 2. 迁移原因 原来的方案是考虑到namenode占用cpu资源小，为了提高设备利用 阅读全文
posted @ 2018-05-08 07:50 micmouse521 阅读(760) 评论(0) 推荐(0)
更改hadoop集群yarn的webui中的开始时间和结束时间为本地时间
摘要：yarn集群的webui地址为:http://rm:8088 执行任务后，任务的开始时间和结束时间都是utc时间，查看很不方便。 查找相关资料发现hadoop有补丁包，补丁地址:https://issues.apache.org/jira/browse/YARN-1998 补丁内容为: 所以只需要修 阅读全文
posted @ 2018-01-29 16:15 micmouse521 阅读(2336) 评论(0) 推荐(0)