HBase0.94.2-cdh4.2.0需求评估测试报告1.0之五

 

根据以上图分析得出以下结论：

1、 在上面的hbase配置下，顺序和随机写记录（每条记录1K），每写入86-87M（大小可配）左右数据生成一个磁盘文件（store file）。

2、 在上面的hbase配置下，生成4个磁盘文件（store file）后，再生成1个磁盘文件（store file）会触发合并操作（Minor compactions），将4个磁盘文件（store file）合并成一个磁盘文件（store file），同时写入数据生成一个磁盘文件（store file）。

3、 在上面的hbase配置下，创建4个预分区，同时向4个分区随机写入记录，每个分区与第二个结论一致。

1  建议

HDFS存储测试建议和问题：

1、 Hbase中从内存写磁盘文件的大小配置100M，但每次到86-87M左右触发写磁盘文件事件，此问题还没找到原因。

2、 Hbase和zookeeper使用内存较多，每个节点2G内存，多次执行数据写入操作后，内存使用率至少都操作80%以上，此问题是由于创建4个预分区，每个分区都占用100M多内存，Hbase和zookeeper本身也使用1.2G多内存，所以导致内存使用过多，如在先网环境使用，一定要注意内存的大小，否则会出现内存溢出的问题。

3、 此次测试配置关闭hbase本身的合并和分裂事件，由于虚拟机内存和磁盘空间有限，没有做大数据量的测试，所以在此配置下数据量较大时，不知道是否存在其它问题。