Hive行列转换

Hive行列转换
 
1、行转列 (根据主键,进行多行合并一列)
使用函数:concat_ws(‘,’,collect_set(column)) 
  • collect_list 不去重
  • collect_set 去重
  • column 的数据类型要求是 string
 
1.1、构建测试数据
vi row_to_col.txt
a   b   1
a   b   2
a   b   3
c   d   4
c   d   5
c   d   6
 
1.2、建表 
create table tmp_jiangzl_test
(col1 string,
col2 string,
col3 string)
row format delimited fields terminated by '\t'
stored as textfile;
 
1.3、加载数据
 
load data local inpath '/root/test-temp/row_to_col.txt' into table tmp_jiangzl_test;
 
1.4、执行转换
 
select col1,col2,concat_ws(',',collect_set(col3)) as bian
from tmp_jiangzl_test 
group by col1,col2;
 

 

2、列转行 (对某列拆分,一列拆多行)
使用函数:lateral view explode(split(column, ‘,’)) num
2.1、构建测试数据
vi col_to_row.txt
a   b   1,2,3
c   d   4,5,6
 
 
2.2、建表
 
create table col_to_row_test(
col1 string,
col2 string,
col3 string)
row format delimited fields terminated by '\t'
stored as textfile;
 
2.3、加载数据
 
load data local inpath '/root/test-temp/col_to_row.txt' into table col_to_row_test;
 
2.4、执行转换
 
select col1, col2, col3_new
from col_to_row_test a
lateral  view explode(split(col3,',')) b AS col3_new;
 

 

posted @ 2019-08-29 10:17  老白条  阅读(1060)  评论(0编辑  收藏  举报