导航

随笔分类 -  Hbase

HBase配置性能调优

摘要：因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout 默认值：3分钟（180000ms） 说明... 阅读全文

posted @ 2016-03-15 21:15 ggzone 阅读(157) 评论(0) 推荐(0)

非mapreduce生成Hfile，然后导入hbase当中

摘要：转自：http://blog.csdn.net/stark_summer/article/details/44174381 未实验最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了好久，速度也才1w左右，都... 阅读全文

posted @ 2016-03-05 11:53 ggzone 阅读(193) 评论(0) 推荐(0)

spark streaming插入hbase

摘要：import java.sql.{DriverManager, ResultSet}import org.apache.spark._import org.apache.spark.streaming._import scala.util.Randomimport org.apach... 阅读全文

posted @ 2016-03-05 11:12 ggzone 阅读(145) 评论(0) 推荐(0)

查看hbase中的中文

摘要：python:print '\xE4\xB8\xAD\xE5\x9B\xBD\xE7\x9A\x84\xE4\xB8\x8A\xE5\x8D\x88'.decode('utf-8') 阅读全文

posted @ 2016-03-05 11:11 ggzone 阅读(612) 评论(0) 推荐(0)

scala使用hbase新api

摘要：import org.apache.hadoop.hbase.{HTableDescriptor,HColumnDescriptor,HBaseConfiguration,TableName}import org.apache.hadoop.hbase.client.{Connect... 阅读全文

posted @ 2016-03-05 11:09 ggzone 阅读(201) 评论(0) 推荐(0)

hbase的regionserver宕机

摘要：错误日志：regionserver.HRegionServer: Failed deleting my ephemeral nodezookeeper.RecoverableZooKeeper: ZooKeeper delete failed after 4 attempts解决：a... 阅读全文

posted @ 2016-01-30 13:49 ggzone 阅读(334) 评论(0) 推荐(0)

hive处理hbase数据

摘要：CREATE EXTERNAL TABLE table1(key string,zoneid int,result int,) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROP... 阅读全文

posted @ 2016-01-30 13:09 ggzone 阅读(194) 评论(0) 推荐(0)

Sqoop导入mysql数据到Hbase

摘要：sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --query "select r... 阅读全文

posted @ 2016-01-30 13:03 ggzone 阅读(1101) 评论(2) 推荐(0)

Hbase基础操作

摘要：$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename' 阅读全文

posted @ 2016-01-30 12:57 ggzone 阅读(155) 评论(0) 推荐(0)

hbase的rowkey简单设计

摘要：问题： 需要查询某一用户某时间做了什么，PlatID和vopenid可以保证一个用户唯一，但同一时间同一用户可能日志有多条。 使用PlatID（int）、vopenid（int）和dtTime(datetime)查询保持所有rowkey长度一致 PlatID总是一位，vopenid不... 阅读全文

posted @ 2016-01-24 12:37 ggzone 阅读(579) 评论(0) 推荐(0)

hbase1.1.2安装

摘要：环境：hadoop2.6.1,zk3.4.61.配置环境变量 sudo vi /etc/profile.d/hbase-env.shexport HBASE_HOME=/usr/local/hbase-1.1.2export PATH=$PATH:/usr/local/hbase-1... 阅读全文

posted @ 2016-01-16 13:23 ggzone 阅读(1133) 评论(0) 推荐(0)