摘要: 一、问题背景 考虑到 Hadoop 3.0.0 的新特性 EC 码,HDFS 在存储数据时能获得很好的压缩比,同时 Hadoop 2.6.0 集群 HDFS 存储压力较大,我们将 Hadoop 2.6.0 集群的数据冷备到 Hadoop 3.0.0,来缓解 HDFS 存储的压力,但在冷备操作进行了一 阅读全文
posted @ 2021-01-08 16:11 笨小康u 阅读(1165) 评论(0) 推荐(0) 编辑
摘要: 问题背景 线上集群出现过几次 Yarn RM 写 ZK ZNode 的数据量超过 ZNode 限制,导致 RM 服务均进入 Standby 状态,用户无法正常提交任务,整个集群 hang 住,后续排查发现主要是异常任务写 ZNode 数据量太大,超过 ZNode 限制,导致集群其他提交作业的状态信息 阅读全文
posted @ 2021-01-08 11:22 笨小康u 阅读(1572) 评论(0) 推荐(0) 编辑