Hbase性能测试
1 单机HBase集群测试报告
1.1 机器参数
|
硬件信息 |
机器3台 dell PowerEdge R710 内存:8G, cup 24核, 6x1t磁盘 |
|
操作系统 |
ubuntu-12.04.1-server-amd64 |
1.2 HBase单点测试
单点测试：
单硬盘配置
Lzo压缩开启
单点测试数据：
分别写入108,844,93、108,844,930条数据，单表单列，autoflush=true，单条写入和读取。
|
类型 |
测试集群 |
Region数量 |
线程数 |
操作记录条数 |
Key平均长度 |
Value平均长度 |
每条记录平均操作时间 |
平均tps |
|
Put |
单节点 |
255/765 |
300 |
108844930 |
70 |
136 |
1.544ms |
648.87 |
|
Put |
单节点 |
500 |
300 |
10884493 |
70 |
136 |
0.633ms |
1579.39 |
|
Put |
单节点 |
500 |
300 |
108844930 |
70 |
136 |
1.135ms |
880.6 |
|
Put |
单节点 |
1000 |
300 |
108844930 |
70 |
136 |
5.497ms |
181.9 |
|
Get |
单节点 |
255/765 |
300 |
2000000 |
70 |
136 |
1.738ms |
575.1 |
|
Get |
单节点 |
500 |
300 |
200000 |
70 |
136 |
0.234ms |
4255.95 |
|
Get |
单节点 |
500 |
300 |
2000000 |
70 |
136 |
0.687ms |
1454.69 |
|
Get |
单节点 |
1000 |
300 |
2000000 |
70 |
136 |
1.599ms |
625.05 |
|
Put&Get |
单节点 |
255/765 |
300 &300 |
108844930&2000000 |
70 |
136 |
1.576ms&2.60ms |
634.43&384.44 |
|
Put&Get |
单节点 |
500 |
300 &300 |
108844930&2000000 |
70 |
136 |
1.445ms |
691.1 |
记录操作时间分布图：
图1 千万级测试操作时间分布图，其中读写操作单独测试，写10884493条，读200000条，在图表中按比例呈现
图 2 亿级测试操作时间分布图，其中读写操作单独测试，写108844930条，读2000000条，在图表中按比例呈现
2 HBase集群测试数据
机器参数：
操作系统：64bit turbolinux
硬盘：7200r/s
内存：16G
Cpu:8核
集群参数：
5 nodes, 3 znodes，同一个机架
单硬盘配置
Lzo压缩开启
关键配置项：
测试数据：
写入108,844,930条数据，单表单列，autoflush=true，单条写入和读取。
|
类型 |
线程数 |
操作记录条数 |
Key平均长度 |
Value平均长度 |
每条记录平均操作时间 |
平均tps |
|
Put |
300 |
108844930 |
70 |
136 |
3.663ms |
272.99 |
|
Get |
300 |
2000000 |
70 |
136 |
1.204ms |
830.41 |
|
Put&Get |
300&300 |
108844930&2000000 |
70 |
136 |
Put:4.724ms& Get:2.268ms |
Put:211.7&Get:441 |
记录操作时间分布图：
图2-1 写操作时间统计图
图2-2 读操作时间统计图
图2-3 读写操作时间统计图
