随笔分类 -  Hive

Hive中的Order by与关系型数据库中的order by语句的异同点
摘要：在Hive中，ORDER BY语句是对查询结果集进行整体的排序，最终将会产生一个reducer进行全局的排序，达到的最终结果是和传统的关系型数据库是一样的。 在数据量非常大的时候，全局排序的单个reducer将会成为性能瓶颈，有可能由于数据量过大而跑不出来结果。 Hive中可以设置hive.mapr 阅读全文
posted @ 2018-08-17 00:01 空谷幽兰~泊逸 阅读(358) 评论(0) 推荐(0)
Hive参数的临时设置和永久性设置
摘要：Hive中有一些参数是系统给提供给用户的，我们可以通过这些参数的设置可以让Hive在不同的模式下工作，或者改变显示的效果。 1.通过set对参数值进行设定，这种设置只能是在本次会话有效，退出Hive就会失效； hive (default)> set hive.exec.dynamic.partiti 阅读全文
posted @ 2018-06-17 10:33 空谷幽兰~泊逸 阅读(3307) 评论(0) 推荐(0)
hive动态分区和混合分区
摘要：各位看官，今天我们来讨论下再Hive中的动态分区和混合分区方面的一些知识点以及相关的一些问题。 前面我们已经讲过管理表和外部表的一般分区的一些知识点，对于需要对表创建很多的分区，那么用户就需要些很多的SQL代码，举例： 比如我创建了一张分区表emp，需要 将分区表employees中的某些区数据按分 阅读全文
posted @ 2018-06-17 10:07 空谷幽兰~泊逸 阅读(2880) 评论(0) 推荐(0)
Hive管理表分区的创建，数据导入，分区的删除操作
摘要：Hive分区和传统数据库的分区的异同： 分区技术是处理大型数据集经常用到的方法。在Oracle中，分区表中的每个分区是一个独立的segment段对象，有多少个分区，就存在多少个相应的数据库对象。而在Postgresql中分区表其实相当于分别建立了很多小表，其实和Oracle是异曲同工罢了。 在HIV 阅读全文
posted @ 2018-06-12 23:30 空谷幽兰~泊逸 阅读(1795) 评论(0) 推荐(0)
Hive表生成函数explode讲解
摘要：Hive中的表分析函数接受零个或多个输入，然后产生多列或多行输出。 1.explode函数 explode函数以array类型数据输入，然后对数组中的数据进行迭代，返回多行结果，一行一个数组元素值 ARRAY函数是将一列输入转换成一个数组输出。 hive (jimdb)> SELECT ARRAY( 阅读全文
posted @ 2018-06-12 23:27 空谷幽兰~泊逸 阅读(5653) 评论(0) 推荐(1)
Hive管理表，外部表及外部分区表的深入探讨
摘要：Hive管理表，也叫内部表。Hive控制着管理表的整个生命周期，默认情况下Hive管理表的数据存放在hive的主目录：/user/hive/warehouse/下，并且当我们删除一张表时，这张表的数据也会相应的被删除掉，在文件层面上讲，就是在Hive主目录下的表目录以及目录里面的数据文件都会被删除掉 阅读全文
posted @ 2018-06-12 23:24 空谷幽兰~泊逸 阅读(2159) 评论(0) 推荐(0)