随笔分类 -  hbase

摘要:正常情况下,hmaster会定期清理oldWALs文件夹,一般该文件大小也就几百兆,但是我们线上 环境出现了该文件没有自动回收情况,如图: 该目录占用hdfs空间多达7.6T,浪费空间: 后来经过多番查找,找到了问题所在,之前开启hbase复制之peers,参考博文连接如下: https://sta 阅读全文
posted @ 2018-06-14 10:22 gongxiucheng 阅读(518) 评论(0) 推荐(0)
摘要:一.前提主从集群之间能互相通讯; 二.在cluster1上(源集群): 1.查看集群已开启的peers hbase(main):011:0> list_peers PEER_ID CLUSTER_KEY STATE TABLE_CFS 10 slave.01.bigdata.prod.wgq,sla 阅读全文
posted @ 2018-04-18 11:43 gongxiucheng 阅读(1286) 评论(0) 推荐(0)
摘要:4.HBASE数据迁移方案: 4.1 Import/Export 4.2 distcp 4.3 CopyTable 4.4 snapshot 快照方式迁移(以USER_info:user_log_info为例) 1.先在源集群建立该表的快照 hbase(main):003:0> snapshot " 阅读全文
posted @ 2018-04-16 15:50 gongxiucheng 阅读(424) 评论(0) 推荐(0)