摘要： 周末一大早被报警惊醒，rm频繁切换 急急忙忙排查 看到两处错误日志 错误信息1 ervation <memory:0, vCores:0> 2019-12-21 11:51:57,781 FATAL org.apache.hadoop.yarn.server.resourcemanager.Reso 阅读全文

摘要： 一 编译 以spark2.4 hadoop2.8.4为例 1，spark 项目根pom文件修改 pom文件新增 <profile> <id>hadoop-2.8</id> <properties> <hadoop.version>2.8.4</hadoop.version> </properties 阅读全文

摘要： 某日 收到告警 线上集群rm切换 观察resourcemanager 日志报错如下 这行不明显 再看看其他日志报错 在 app attempt_removed 时候发生了空指针错误 break; case APP_ATTEMPT_REMOVED: if (!(event instanceof App 阅读全文

摘要： 对一般小公司来说 可能yarn调度能力足够了 但是对于大规模集群1000 or 2000+的话 yarn的调度性能捉襟见肘 恰好网上看到一篇很好的文章https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-opti 阅读全文

摘要： 背景: 公司将线上hadoop RM接入ZK 实现高可用 但ZK Znode 默认存储1M,当存储数据量大时候可能导致线上业务的崩溃 处理方案如下: 1，修改ZK配置 增加默认存储上限 2，修改RM数据存储在zk中的路径结构 使结构拆分能支撑更大的数据 问题一 修改ZK配置 增加默认存储上限 主要为 阅读全文

摘要： 公司的并发量很大,担心使用ranger-hdfs插件后 namenode扛不住压力 所以需要本人进行压测 没有在网上找到其他文档 资料太少了 决定自己写一份 介绍下压测环境 15个节点 集群高可用两个namenode 主备 其中node2 为活动的namenode 环境如下: 这里使用阿里的压测包 阅读全文

摘要： 当hdfs文件对外是公开的则该其他用户就算没有配置相关的权限一样可以进行相关的操作。当hdfs文件对外权限是没有开放的，其他用户若需要进行相关操作则需要通过Ranger进行相关权限的配置。 首先 /input赋权 775 权限 下递归赋权750权限 让权限管理交给ranger 测试1 建hive1, 阅读全文