●HBase - 随笔分类 - 程序优化

摘要：在一个需要低延时响应的hbase集群中，使用hbase默认的客户端超时配置简直就是灾难。但是我们可以考虑在客户端上加上如下几个参数，去改变这种状况:1. hbase.rpc.timeout: RPC timeout, The default 60s, 可以修改为500... 阅读全文

posted @ 2016-03-14 16:03 程序优化阅读(2209) 评论(0) 推荐(0)

摘要：ClusterId read in ZooKeeper is null.Re-running the program after fixing issue 1 will result in the following error in the log file (Od... 阅读全文

posted @ 2015-12-22 17:34 程序优化阅读(4773) 评论(0) 推荐(0)

摘要：Found lingering reference异常ERROR: Found lingering reference file hdfs://jiujiang1:9000/hbase/month_hotstatic/5af24d51488823419d1552834... 阅读全文

posted @ 2015-06-09 23:37 程序优化阅读(975) 评论(0) 推荐(0)

摘要：ERROR: (region day_hotstatic,860010-2355010000_20140417_12_entry_00000000321,1400060700465.fda3b0aca340570aeb64410c97e3cb73.) Multiple... 阅读全文

posted @ 2015-06-09 23:34 程序优化阅读(739) 评论(0) 推荐(0)

摘要：ERROR: (regions day_hotstatic,860010-2355010000_20140417_12_entry_00000000321,1398674475358.0dc205736ec1e890bd2d37a2e3220acc. and day_... 阅读全文

posted @ 2015-06-09 23:31 程序优化阅读(860) 评论(0) 推荐(0)

摘要：ERROR: Region { meta => month_hotstatic,860010-2288000000_201405_5_exit_00000047486,1400144486405.e737a0d96930d3ad31fbcf796c9b8a08., h... 阅读全文

posted @ 2015-06-09 23:27 程序优化阅读(1905) 评论(0) 推荐(0)

摘要：hbase从集群中有8台regionserver服务器，已稳定运行了5个多月，8月15号，发现集群中4个datanode进程死了，经查原因是内存 outofMemory了(因为这几台机器上部署了spark，给spark开的-Xmx是32g)，然后对从集群进行了恢复并进... 阅读全文

posted @ 2015-06-09 22:59 程序优化阅读(1078) 评论(0) 推荐(0)

HBase并行写机制(mvcc)

摘要：HBase在保证高性能的同时，为用户提供了便于理解的一致性数据模型MVCC (Multiversion Concurrency Control)，即多版本并发控制技术，把数据库的行锁与行的多个版本结合起来，从而去提高数据库系统的并发性能。要理解mvcc，首先需知道为什... 阅读全文

posted @ 2015-02-15 18:34 程序优化阅读(846) 评论(0) 推荐(1)

摘要：region分裂有2种触发情景：1是用户手动触发(参见HRegionServer的splitRegion方法)，2是后台flush线程flush完一个region的memstore时，会去检查这个region是否需要分裂(参见MemStoreFlushe的flushR... 阅读全文

posted @ 2014-12-28 20:26 程序优化阅读(813) 评论(0) 推荐(0)

摘要：背景 hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库，为及早... 阅读全文

posted @ 2014-12-07 23:50 程序优化阅读(606) 评论(0) 推荐(0)

摘要：1、介绍HBase集群上region数目由于业务驱动而越来越多，由于服务器本身，网络以及hbase内部的一些不确定性bug等因素使得这些region可能面临着不可用或响应延时情况。通过对region的监控，也可以反映出hdfs集群的状况2、工具org.apache.h... 阅读全文

posted @ 2014-02-10 16:51 程序优化阅读(669) 评论(0) 推荐(0)

DolphinScheduler(海豚调度)