Hbase - 随笔分类 - ggzone

HBase配置性能调优

摘要：因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout 默认值：3分钟... 阅读全文

posted @ 2016-03-15 21:15 ggzone 阅读(132) 评论(0) 推荐(0)

摘要：转自：http://blog.csdn.net/stark_summer/article/details/44174381 未实验最近一个群友的boss让研究hbase，让hbase的入库速度达到5w+/s，这可愁死了，4台个人电脑组成的集群，多线程入库调了... 阅读全文

posted @ 2016-03-05 11:54 ggzone 阅读(144) 评论(0) 推荐(0)

摘要：import java.sql.{DriverManager, ResultSet}import org.apache.spark._import org.apache.spark.streaming._import scala.util.Randomimp... 阅读全文

posted @ 2016-03-05 11:13 ggzone 阅读(255) 评论(0) 推荐(0)

摘要：python:print '\xE4\xB8\xAD\xE5\x9B\xBD\xE7\x9A\x84\xE4\xB8\x8A\xE5\x8D\x88'.decode('utf-8') 阅读全文

posted @ 2016-03-05 11:11 ggzone 阅读(245) 评论(0) 推荐(0)

摘要：import org.apache.hadoop.hbase.{HTableDescriptor,HColumnDescriptor,HBaseConfiguration,TableName}import org.apache.hadoop.hbase.cl... 阅读全文

posted @ 2016-03-05 11:10 ggzone 阅读(790) 评论(0) 推荐(0)

摘要：错误日志：regionserver.HRegionServer: Failed deleting my ephemeral nodezookeeper.RecoverableZooKeeper: ZooKeeper delete failed after 4... 阅读全文

posted @ 2016-01-30 13:50 ggzone 阅读(262) 评论(0) 推荐(0)

摘要：CREATE EXTERNAL TABLE table1(key string,zoneid int,result int,) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' W... 阅读全文

posted @ 2016-01-30 13:10 ggzone 阅读(149) 评论(0) 推荐(0)

摘要：sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --qu... 阅读全文

posted @ 2016-01-30 13:04 ggzone 阅读(323) 评论(0) 推荐(0)

摘要：$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename' 阅读全文

posted @ 2016-01-30 12:58 ggzone 阅读(108) 评论(0) 推荐(0)

摘要：问题：需要查询某一用户某时间做了什么，PlatID和vopenid可以保证一个用户唯一，但同一时间同一用户可能日志有多条。使用PlatID（int）、vopenid（int）和dtTime(datetime)查询保持所有rowkey长度一致 PlatID... 阅读全文

posted @ 2016-01-24 12:38 ggzone 阅读(144) 评论(0) 推荐(0)

摘要：环境：hadoop2.6.1,zk3.4.61.配置环境变量 sudo vi /etc/profile.d/hbase-env.shexport HBASE_HOME=/usr/local/hbase-1.1.2export PATH=$PATH:/usr/... 阅读全文

posted @ 2016-01-16 13:24 ggzone 阅读(113) 评论(0) 推荐(0)