HBase0.94.2-cdh4.2.0需求评估测试报告1.0之一

hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。

HBase中的表一般有这样的特点：

1、  大：一个表可以有上亿行，上百万列

2、  面向列:面向列(族)的存储和权限控制，列(族)独立检索。

3、  稀疏:对于为空(null)的列，并不占用存储空间，因此，表可以设计的非常稀疏。

 

 

1.1  参考资料

1．《hbase 介绍》。
2．《可视化Flushes与Compactions》

 

 

2  测试概要

根据官网hbase的配置调整测试，综合考虑是否满足需求。

2.1  测试环境与配置

集群搭建在一台高性能服务器中，采用VMware虚拟机建立Linux系统节点。

高性能服务器配置如下：

Hp Compaq Pro 6300 双核 i3处理器，12G内存，2.5T硬盘，千兆网卡

HDFS虚拟服务器硬件配置：

Hp Compaq Pro 6300
CPU：单核 i3处理器
内存：2G
硬盘：255G

HDFS虚拟服务器硬件配置：

操作系统：redhat6.2
应用软件：hadoop4.2
JDK：1.6

 

 

hadoop集群由三台虚拟机构成，具体如下：

服务器数量		4
服务器1	操作系统	Red Hat Enterprise Linux 6.2
	机器名	Cdh-master
	IP	172.168.10.251
	担当角色	Zookeeper、HMaster、HRegionServer
服务器2	操作系统	Red Hat Enterprise Linux 6.2
	机器名	Cdh-datanode1
	IP	172.168.10.252
	担当角色	Zookeeper、HRegionServer
服务器3	操作系统	Red Hat Enterprise Linux 6.2
	机器名	Cdh-datanode2
	IP	172.168.10.253
	担当角色	Zookeeper、HRegionServer
服务器4	操作系统	Red Hat Enterprise Linux 6.2
	机器名	Cdh-Client
	IP	172.168.10.250
	担当角色	HDFS客户端服务器