摘要：
数据库show databases;表show tables;show tables in xxdb;show tables 'a*';tblpropertiesshow tblproperties t1;分区show partitions t1;show partitions t1 partition(xx=yy);函数show functions;来自为知笔记(Wiz) 阅读全文
posted @ 2015-06-08 14:08
lishouguang
阅读(322)
评论(0)
推荐(0)
摘要：
桶表1）桶是更为细粒度的数据范围划分，它能使一些特定的查询效率更高2）保存数据时，取分桶字段的哈希值，跟分桶数取余，然后将数据放到不同的桶（文件）里。1、定义：create table b1(id int, name string) clustered by (id) into 4 buckets;2、加载数据：1）使用load data 来加载数据，可以加载成功，也能查询到，但是没有分桶。2）i... 阅读全文
posted @ 2015-06-08 14:07
lishouguang
阅读(499)
评论(0)
推荐(0)
摘要：
Hive处理的数据是大数据，在保存表数据时不对数据进行校验，而是在读数据时校验，不符合格式的数据设置为NULL；读时模式的优点是，加载数据库快。传统的数据库如mysql、oracle是写时模式，不符合格式的数据写不进去。来自为知笔记(Wiz) 阅读全文
posted @ 2015-06-08 14:06
lishouguang
阅读(1838)
评论(0)
推荐(1)
摘要：
1、hive -h 显示帮助2、hive -h hiveserverhost -p port 连接远程hive服务器3、hive --define a=1 --hivevar b=1 --hiveconf hive.cli.print.current.db=true 见《Hive设置变量》4、hive -e "show tables"; 直接执行hivesql语句 h... 阅读全文
posted @ 2015-06-08 14:05
lishouguang
阅读(958)
评论(0)
推荐(0)
摘要：
hive --define --hivevar --hiveconfset1、hivevar命名空间用户自定义变量hive -d name=zhangsanhive --define name=zhangsanhive -d a=1 -d b=2效果跟hivevar是一样的hive --hivevar a=1 --hivevar b=2引用hivevar命名空间的变量时，变量名前面可以加hivev... 阅读全文
posted @ 2015-06-08 14:04
lishouguang
阅读(15033)
评论(0)
推荐(0)
摘要：
order by： order by是全局排序，受hive.mapred.mode的影响。 使用orderby有一些限制： 1、在严格模式下（hive.mapred.mode=strict），orderby必须跟limit一起使用（？）。 原因：在执行orderby时，hive使用一个re... 阅读全文
posted @ 2015-06-08 14:03
lishouguang
阅读(562)
评论(0)
推荐(0)
摘要：
1、配置hive在HDFS上的根目录位置 hive.metastore.warehouse.dir /hive2、配置derby数据库文件的位置（固定derby数据的位置） javax.jdo.option.ConnectionURL jdbc:derby:;databaseName=/usr/local/bigdata/hive-0.14.0/metastore_db;c... 阅读全文
posted @ 2015-06-08 14:02
lishouguang
阅读(322)
评论(0)
推荐(0)
摘要：
order by： order by是全局排序，受hive.mapred.mode的影响。 使用orderby有一些限制： 1、在严格模式下（hive.mapred.mode=strict），orderby必须跟limit一起使用（？）。 原因：在执行orderby时，hive使用一个reducer，如果查询结果量很大，这个reducer执行起来会很费劲，所以必须要... 阅读全文
posted @ 2015-06-08 12:37
lishouguang
阅读(472)
评论(0)
推荐(0)
摘要：
hive默认使用derby数据库保存元数据，derby数据库比较小众，并且一次只能打开一个会话，一般修改为mysql数据库。1、修改conf/hive-site.xml配置项： javax.jdo.option.ConnectionURL jdbc:mysql://hadoop1:3306/hive?createDatabaseIfNotExist=true ja... 阅读全文
posted @ 2015-06-08 12:20
lishouguang
阅读(343)
评论(0)
推荐(0)
摘要：
在当前用户的家目录下有个.hivestory文件，里面存放了用户执行的hive操作记录，如下：[hadoop@hadoop1 hive-0.14]$ cat ~/.hivehistoryshow databases;quit;quit;create table pokes(foo int, bar string);load data local inpath 'examples/files/kv1... 阅读全文
posted @ 2015-06-08 12:19
lishouguang
阅读(491)
评论(0)
推荐(0)
浙公网安备 33010602011771号