摘要: 写于2016.7月 最近项目需要在hbase上做统计分析,在本机上装了hive,结果跑小批量数据sum时报错: 查看yarn日志,一样也是空指针异常,还有个提示是No plan file found: hdfs://... 查看hive源码,发现gWork为null,导致空指针异常 接着查看Util 阅读全文
posted @ 2019-07-15 17:01 魔方爸爸 阅读(4897) 评论(0) 推荐(0) 编辑
摘要: 现象:phoenix刚建表时查找很快,随着数据导入越来越多,查询越来越缓慢,执行explain这个表的计划都需要好几秒,但在hbase shell里查询很快 问题定位:这个是由于system.static表数据量太大造成,每次查询都会去读这张表数据 解决方案:修改org.apache.phoenix 阅读全文
posted @ 2017-03-13 16:18 魔方爸爸 阅读(4662) 评论(2) 推荐(0) 编辑
摘要: 本文只是从总体流程来分析replication过程,很多细节没有提及,下一篇文章准备多分析分析细节。 replicationSource启动过程 org.apache.hadoop.hbase.regionserver.HRegionServer#startServiceThreads -> org 阅读全文
posted @ 2017-03-08 17:32 魔方爸爸 阅读(2286) 评论(0) 推荐(0) 编辑
摘要: 参考hbase RpcServer,编写了一个简洁版多Selector server,对nio怎么用,Selector如何选择事件会有更深入的认识。 client端发送消息:内容长度 + 内容,200线程同时发送 server端接收消息:解析内容长度和内容,返回2MB测试数据给客户端 Server端 阅读全文
posted @ 2017-01-10 01:47 魔方爸爸 阅读(11528) 评论(2) 推荐(1) 编辑
摘要: 最近生产环境hbase集群出现停掉集群之后hmaster无法启动现象,master日志报异常:Timedout 300000ms waiting for namespace table to be assigned,导致整个集群起不来。 首先怀疑regionserver加载namespace reg 阅读全文
posted @ 2016-12-15 18:12 魔方爸爸 阅读(9180) 评论(3) 推荐(1) 编辑
摘要: 在往hbase表里通过bulkload导数据时,某个mapreduce跑了一个多小时还没跑,看yarn界面,发现map还有一小部分没跑完,没跑完的map全在pending,running中没有,同时reduce在copy阶段把资源全用光,导致map没资源去跑,进而导致reduce一直在copy状态等... 阅读全文
posted @ 2015-07-22 16:56 魔方爸爸 阅读(11850) 评论(0) 推荐(1) 编辑
摘要: With the default Apache HBase configuration, everyone is allowed to read from and write to all tables available in the system. For many enterprise set 阅读全文
posted @ 2015-01-29 17:20 魔方爸爸 阅读(430) 评论(0) 推荐(0) 编辑