摘要：
Hive支持以java代码方式自定义实现SQL函数，步骤如下 1：继承UDF，实现函数evaluate，参数利返回值可以重载 2：jdbc:hive2://ht03:10000/default> add jar /opt/hive-udf/udf-str.jar 3：CREATE TEMPORARY 阅读全文
posted @ 2017-07-03 17:44
黑道撒加
阅读(571)
评论(0)
推荐(0)
摘要：
说明：同样数据的两个orc表，分别模拟一个月120亿wifi数据，平均每日4亿数据。 字段：id 唯一标记 mac mac地址 point 点位 x x坐标 y y坐标 hour 数据时间-小时 day 数据时间-日期 区别： 表1：wifi_orc 以day作为一级分区，hour作为二级分区 表2 阅读全文
posted @ 2017-06-28 18:33
黑道撒加
阅读(1025)
评论(0)
推荐(0)
摘要：
CREATE TABLE card_data(KEY string,coorid string, coorname string,cooraddr string,roadnum string,speed string,direction string,date string,hphm string, 阅读全文
posted @ 2017-06-09 18:43
黑道撒加
阅读(433)
评论(0)
推荐(0)
摘要：
./hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,f1:name,f1:age,f1:addr t1 /zldata/demo 阅读全文
posted @ 2017-06-09 16:07
黑道撒加
阅读(128)
评论(0)
推荐(0)
摘要：
1：下架表 disable `card_base`; 2：设置压缩 alter 'card_base', NAME => 'base', COMPRESSION => 'GZ' 3：上架表 enable 'card_base' 4：进行压缩 major_compact 'card_base' 阅读全文
posted @ 2017-06-08 14:30
黑道撒加
阅读(352)
评论(0)
推荐(0)
摘要：
依赖库：yum -y install gcc+ gcc-c++ 官方文档中提到编译前提需要：gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3 1：下载所需的动态库和hadoop snappy插件工程 snappy 阅读全文
posted @ 2017-06-06 11:46
黑道撒加
阅读(280)
评论(0)
推荐(0)
摘要：
硬件环境： HMaster为虚拟机 配置低 三台RangeServer为实体机 所有例子进行测试，同例子执行时间浮动200毫秒上下(秒出的除外) 每行字段数量：11个 测试全部通过HBase Java Api执行得出 没有压缩： card_base：单列族 行数：1.8亿左右(数据情况，随机模拟17 阅读全文
posted @ 2017-05-27 11:45
黑道撒加
阅读(360)
评论(0)
推荐(0)
摘要：
本文在Hive-ORC文件存储格式的理论基础上，进一步分析一个实际的Hive ORC表中的数据存储形式。 一、表结构 库名+表名：fileformat.test_orc 在hive中命令desc formatted fileformat.test_orc;的结果如下图： 根据上图中的location 阅读全文
posted @ 2017-05-25 18:20
黑道撒加
阅读(3888)
评论(0)
推荐(0)
摘要：
HRegionServer内部管理了一系列HRegion对象，每个HRegion对 应了table中的一个region，HRegion中由多 个HStore组成。每个HStore对应了Table中的一个column family的存储，可以看出每个columnfamily其实就是一个集中的存储单元， 阅读全文
posted @ 2017-05-25 16:48
黑道撒加
阅读(922)
评论(0)
推荐(0)
摘要：
Hbase存储详解 started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital Hbase prototype created as Hadoop contrib 2007.10 First us 阅读全文
posted @ 2017-05-25 16:39
黑道撒加
阅读(118)
评论(0)
推荐(0)
浙公网安备 33010602011771号