随笔分类 -  hive

摘要:select count(*) from information_schema.COLUMNS where TABLE_SCHEMA='库名' and table_name='表名' 阅读全文
posted @ 2021-07-23 11:24 jackandtwo 阅读(250) 评论(0) 推荐(0)
摘要:原SQL: INSERT OVERWRITE TABLE dm_homed.dushilong_ultraman PARTITION (date = '${date}') VALUES (1001, 'Tiga', ARRAY('DaiGo'), 'Spark_prism', ARRAY('zepi 阅读全文
posted @ 2021-07-15 10:48 jackandtwo 阅读(937) 评论(0) 推荐(0)
摘要:转载 https://www.cnblogs.com/wh984763176/p/13215452.html 阅读全文
posted @ 2021-06-29 20:03 jackandtwo 阅读(967) 评论(0) 推荐(0)
摘要:解决方法: collect_set(a) over(partition by b)函数将合并成一个分好组的集合 然后求出集合的值个数 因为collect_set()不能放入重复函数所以使用size()求集合元素数量时能达到count(distinct )的效果 size(collect_set(a) 阅读全文
posted @ 2021-06-22 17:27 jackandtwo 阅读(494) 评论(0) 推荐(0)
摘要:遇到这么一个需求,输入数据为一个ID对应多个name,要求输出数据为ID是唯一的,name随便取一个就可以。 执行以下hive ql语句: SELECT sid, class_id FROM table2 GROUP BY sid ; 会报错: FAILED: Error in semantic a 阅读全文
posted @ 2021-06-17 16:42 jackandtwo 阅读(515) 评论(0) 推荐(0)