随笔分类 -  Hive

第一天笔记
摘要：Hive建表 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name // 定义字段名，字段类型 [(col_name data_type [COMMENT col_comment], ...)] // 给表加上注解 [COMMENT table_com 阅读全文
posted @ 2023-03-05 21:09 tonggang_bigdata 阅读(50) 评论(0) 推荐(0)
HiveSQL技术原理、优化与面试
摘要：HiveSQL技术原理、优化与面试 Hive SQL 编译成MapReduce过程 编译 SQL 的任务是在上节中介绍的 COMPILER（编译器组件）中完成的。Hive将SQL转化为MapReduce任务，整个编译过程分为六个阶段 1、词法、语法解析: Antlr 定义 SQL 的语法规则，完成 阅读全文
posted @ 2022-03-03 17:22 tonggang_bigdata 阅读(290) 评论(0) 推荐(0)
hive数据倾斜
摘要：第五天笔记 Hive With as 用法 // 之前的写法 select t.id ,t.name ,t.clazz ,t.score_id ,t.score ,c.subject_name from( select a.id ,a.name ,a.clazz ,b.score_id ,b.sco 阅读全文
posted @ 2021-08-31 17:09 tonggang_bigdata 阅读(85) 评论(0) 推荐(0)
Hive常用函数
摘要：Hive 常用函数 关系运算 // 等值比较 = == <=> // 不等值比较 != <> // 区间比较： select * from default.students where id between 1500100001 and 1500100010; // 空值/非空值判断：is null 阅读全文
posted @ 2021-08-31 17:08 tonggang_bigdata 阅读(141) 评论(0) 推荐(0)
SQL练习
摘要：SQL练习： 1、count(*)、count(1) 、count('字段名') 区别 2、HQL 执行优先级： from、where、 group by 、having、order by、join、select 、limit 3、where 条件里不支持子查询，实际上是支持 in、not in、e 阅读全文
posted @ 2021-08-31 17:07 tonggang_bigdata 阅读(176) 评论(0) 推荐(0)
hive分区分桶内部表外部表
摘要：Hive建表 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name // 定义字段名，字段类型 [(col_name data_type [COMMENT col_comment], ...)] // 给表加上注解 [COMMENT table_com 阅读全文
posted @ 2021-08-31 17:06 tonggang_bigdata 阅读(161) 评论(0) 推荐(0)
hive总结
摘要：hive加载数据 1、使用 hdfs dfs -put '本地数据' 'hive表对应的HDFS目录下' 2、使用 load data inpath hive shell命令行// 将HDFS上的/input1目录下面的数据 移动至 students表对应的HDFS目录下，注意是 移动、移动、移动l 阅读全文
posted @ 2021-08-31 16:53 tonggang_bigdata 阅读(120) 评论(0) 推荐(0)
Hive面试题
摘要：Hive面试题整理（一） 1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆） 1）倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。 （1）key分布不均匀; （2）业务 阅读全文
posted @ 2021-08-22 20:31 tonggang_bigdata 阅读(595) 评论(0) 推荐(0)