hbase技术 - 随笔分类 - 杰我天下

HBase之disable+drop删除表疑点解惑

摘要：HBase中删除一张表先disable ‘tableName’ 再drop ‘tableName’来删除表问：如果region非常多（但没有访问量了），对线上会有什么影响吗？答：disable只是改了一下ZK里面table的状态。drop也不是现场就把hfile删掉了，只是迁移到.archiv 阅读全文

posted @ 2017-02-08 11:19 杰我天下阅读(3076) 评论(0) 推荐(0) 编辑

HBase最佳实践－列族设计优化

摘要：本文转自hbase。收藏学习下。随着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳定性、可用性的基础上能够用最少的系统资源（CPU,IO等）获得最好的性能（吞吐量，读写延迟）就是’用阅读全文

posted @ 2016-12-28 11:47 杰我天下阅读(5360) 评论(0) 推荐(0) 编辑

hbase基础-系统架构

摘要：HBase 系统架构 HBase是Apache Hadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型。它存储的是松散型数据。 HBase特性： 1 高可靠性 2 高效性 3 面向列 4 可伸阅读全文

posted @ 2016-12-27 10:19 杰我天下阅读(248) 评论(0) 推荐(0) 编辑

HBase工程师线上工作经验总结----HBase常见问题及分析

摘要：阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出错？该从哪方面来分析？4.大量服务端exception，一般原因是什么？5.系统越来越慢的原因是什么？6.Hbase数据写进去，为什么会没有了，可阅读全文

posted @ 2016-12-16 17:27 杰我天下阅读(2628) 评论(0) 推荐(0) 编辑

HBase内部操作日志说明

摘要：版本：0.94-cdh4.2.1 1. Split Region 分割Region的过程是非常快的，具体过程参见《HBase split策略》，日志（在父Region所在的regionserver上）中显示出父Region信息和两个子Region信息以及花费时间。 2. 手动major_compac 阅读全文

posted @ 2016-12-16 16:10 杰我天下阅读(825) 评论(0) 推荐(0) 编辑

HBase参数配置及说明

摘要：版本：0.94-cdh4.2.1 hbase-site.xml配置 hbase.tmp.dir 本地文件系统tmp目录，一般配置成local模式的设置一下，但是最好还是需要设置一下，因为很多文件都会默认设置成它下面的线上配置 <property> <name>hbase.tmp.dir</name 阅读全文

posted @ 2016-12-16 11:46 杰我天下阅读(264) 评论(0) 推荐(0) 编辑

HBase读延迟的12种优化套路

摘要：任何系统都会有各种各样的问题，有些是系统本身设计问题，有些却是使用姿势问题。HBase也一样，在真实生产线上大家或多或少都会遇到很多问题，有些是HBase还需要完善的，有些是我们确实对它了解太少。总结起来，大家遇到的主要问题无非是Full GC异常导致宕机问题、RIT问题、写吞吐量太低以及读延迟较大阅读全文

posted @ 2016-11-21 09:04 杰我天下阅读(8569) 评论(0) 推荐(0) 编辑

HBase的RowKey设计原则

摘要：HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有以下几种方式： row 阅读全文

posted @ 2016-11-08 09:37 杰我天下阅读(2422) 评论(0) 推荐(0) 编辑

hbase shell 基本命令总结

摘要：访问hbase,以及操作hbase，命令不用使用分号hbase shell 进入hbase list 查看表hbase shell -d hbase(main):024:0> scan '.META.' 小例子 1. 创建一个表memberhbase(main):025:0> create 'mem 阅读全文

posted @ 2016-10-31 18:01 杰我天下阅读(215) 评论(0) 推荐(0) 编辑

表数据迁移（可以指定时间戳将数据导出方法）

摘要：1 CopyTable 工具用法： CopyTable is a utility that can copy part or of all of a table, either to the same cluster or another cluster. The target table mus 阅读全文

posted @ 2016-10-31 17:59 杰我天下阅读(1861) 评论(0) 推荐(0) 编辑

随笔分类 - hbase技术