代码改变世界

随笔分类 -  hadoop

HBase Java简单示例

2013-07-18 20:13 by zhenjing, 99481 阅读, 收藏, 编辑
摘要: Hbase采用Java实现,原生客户端也是Java实现,其他语言需要通过thritf接口服务间接访问Hbase的数据。 Hbase作为大数据存储数据库,其写能力非常强,加上Hbase本身就脱胎于Hadoop故和Hadoop的兼容性极好,非常适合于存储半规则数据(灵活、可扩展性强、大数据存储)。基于Hadoop的mapreduce + Hbase存储,非常适合处理大数据。 阅读全文

HBase: 看上去很美

2012-11-13 11:54 by zhenjing, 25063 阅读, 收藏, 编辑
摘要: hadoop已经得到大规模应用,hbase貌似也有不少大公司在用,如facebook、taobao等。从hbase的设计看,hbase系统堪称“完美”:LSM、HFile、WAL、zookeeper、Replication等,hbase的性能测试也不差。可惜从实测的结果看,0.94版本的hbase还无法长期稳定运行(或许是本人能力差导致,也不懂JAVA),很难在线上系统中使用。或许基于levelDB搭建定制的存储系统更加靠谱。 阅读全文

通用数据存储格式: Hadoop SequenceFile、HFile

2012-11-02 11:31 by zhenjing, 12700 阅读, 收藏, 编辑
摘要: 介绍Hadoop SequenceFile和HBase底层存储格式的演化。 阅读全文

hbase系统搭建

2012-07-25 12:25 by zhenjing, 3128 阅读, 收藏, 编辑
摘要: 搭建hbase系统,给出基本步骤。若经常需要搭建,建议将各个步骤整合成一系列脚本,并实现自动化安装。 阅读全文