Hbase性能测试

1 单机HBase集群测试报告

1.1 机器参数

硬件信息

机器3台 dell PowerEdge R710

内存:8G, cup 24, 6x1t磁盘

操作系统

ubuntu-12.04.1-server-amd64

1.2 HBase单点测试

单点测试:

单硬盘配置

Lzo压缩开启

 

单点测试数据:

分别写入108,844,93、108,844,930条数据,单表单列,autoflush=true,单条写入和读取。

类型

测试集群

Region数量

线程数

操作记录条数

Key平均长度

Value平均长度

每条记录平均操作时间

平均tps

Put

单节点

255/765

300

108844930

70

136

1.544ms

648.87

Put

单节点

500

300

10884493

70

136

0.633ms

1579.39

Put

单节点

500

300

108844930

70

136

1.135ms

880.6

Put

单节点

1000

300

108844930

70

136

5.497ms

181.9

Get

单节点

255/765

300

2000000

70

136

1.738ms

575.1

Get

单节点

500

300

200000

70

136

0.234ms

4255.95

Get

单节点

500

300

2000000

70

136

0.687ms

1454.69

Get

单节点

1000

300

2000000

70

136

1.599ms

625.05

Put&Get

单节点

255/765

300

&300

108844930&2000000

70

136

1.576ms&2.60ms

634.43&384.44

Put&Get

单节点

500

300

&300

108844930&2000000

70

136

1.445ms

691.1

 

记录操作时间分布图:

千万级测试操作时间分布图,其中读写操作单独测试,写10884493条,读200000条,在图表中按比例呈现

 

 

图 亿级测试操作时间分布图,其中读写操作单独测试,写108844930条,读2000000条,在图表中按比例呈现

 

2 HBase集群测试数据

机器参数:

操作系统:64bit turbolinux

硬盘:7200r/s 

内存:16G

Cpu:8

集群参数:

5 nodes, 3 znodes,同一个机架

单硬盘配置

Lzo压缩开启

关键配置项:

测试数据:

写入108,844,930条数据,单表单列,autoflush=true,单条写入和读取。

类型

线程数

操作记录条数

Key平均长度

Value平均长度

每条记录平均操作时间

平均tps

Put

300

108844930

70

136

3.663ms

272.99

Get

300

2000000

70

136

1.204ms

830.41

Put&Get

300&300

108844930&2000000

70

136

Put:4.724ms&

Get:2.268ms

Put:211.7&Get:441

记录操作时间分布图:

图2-1 写操作时间统计图

 

图2-2 读操作时间统计图

图2-3 读写操作时间统计图

 

 

posted @ 2013-05-13 17:29 花考拉 阅读(...) 评论(...) 编辑 收藏