【hive】lateral view的使用

当使用UDTF函数的时候,hive只允许对拆分字段进行访问的

 

例如:

select id,explode(arry1) from table; —错误

会报错FAILED: SemanticException 1:40 Only a single expression in the SELECT clause is supported with UDTF's.  

 

select explode(array1) from table; —正确

 

但是实际中经常要拆某个字段,然后一起与别的字段一起出.例如上面的id和拆分的array元素是对应的.我们应该如何进行连接呢?我们知道直接select id,explode()是不行的.这个时候就需要lateral view出厂了.

 

lateral view为侧视图,意义是为了配合UDTF来使用,把某一行数据拆分成多行数据.不加lateral view的UDTF只能提取单个字段拆分,并不能塞会原来数据表中.加上lateral view就可以将拆分的单个字段数据与原始表数据关联上.

在使用lateral view的时候需要指定视图别名和生成的新列别名

例如

select id,num from table lateral view explode(array1) subview as num;

subview为视图别名,num为指定新列别名

lateral view explode 相当于一个拆分array1字段的虚表,然后根据id将其与原表进行笛卡尔积关联.

我们也可以多次使用lateral view explode

select id,num1,num2 from table 

lateral view explode(array1) subview1 as num1

lateral view explode(array2) subview2 as num2

where ...;

我们可以理解为lateral view为table的一个cross join,关联键是table的id

 

我们在上篇讲解的json解析使用到的json_tuple()函数也是UDTF函数,因为一个json字符串对应了解析出n个字段.与原表数据关联的时候需要使用lateral view

select id from table lateral view json_tuple(property,'tag_id','tag_type’);