随笔分类 -  hbase

Hive与HBase集成及常见问题解决
摘要：版本说明Hadoop1.0.1HBase 0.94.9Hive 0.8.1一、Hive over HBase1. 拷贝hbase-0.94.9.jar、zookeeper-3.4.5.jar、protobuf-java-2.4.0a.jar到hive/lib下。注意：如何hive/lib下已经存在这两个文件的其他版本（例如zookeeper-3.3.1.jar），建议删除后使用hbase下的相关版本。2. 修改hive/conf下hive-site.xml文件（红色部分） hive.metastore.local true ja... 阅读全文
posted @ 2013-07-30 12:40 kivi 阅读(1697) 评论(0) 推荐(0)
SQL for HBase
摘要：本文转自：http://www.orzota.com/sql-for-hbase/HBase provides random, read-write access to Big Data stored in very large tables as a distributed columnar store. HBase thus gained immediately popularity as a Big Data technology that unlike Hadoop which was primarily used in the backend data warehousing inf 阅读全文
posted @ 2013-07-25 12:17 kivi 阅读(873) 评论(0) 推荐(0)
Demystifying the Skip Scan in Phoenix
摘要：本文转自http://phoenix-hbase.blogspot.com/Today the Phoenix blog is brought to you by my esteemed colleague and man of many hats, Mujtaba Chohan, who today is wearing his performance engineer hat.SKIP SCANPhoenix 1.2uses a Skip Scan for intra-row scanning which allows for significant performance improve 阅读全文
posted @ 2013-07-25 10:41 kivi 阅读(659) 评论(0) 推荐(0)
hbase在淘宝的应用
摘要：淘宝的hbase规模：1、基于0.90.3；2、10个独立集群，大约300台机器；3、机器配置：16 core，24G/48G，SATA 1T*12/SAS 300G *12；4、大约200k ops/sec，70%写，30%读。遇到的问题：1、region书越来越多，每秒写的速度会下降很快（8000降到2000）--->解决办法：将锁机制改为“无锁”。2、regionServerOOM（内存溢出）--->原因1：rowkey设计问题 原因2：setMaxFileSize太大，解压会使用近双倍的空间 原因3：region太多3、.meta表空洞--->原因：split失败，数 阅读全文
posted @ 2013-07-11 21:04 kivi 阅读(382) 评论(0) 推荐(0)