摘要：一、数据倾斜的原因 1）、key分布不均 2）、业务数据本身的特性 3）、建表时候考虑不周 4）、某些sql语句本身就有数据倾斜 关键词 情形 后果 join ①其中一个表较小，但是key集中 ②大表与大表，但是分桶的判断字段0值或者 空值过多 ①分发到某一个或者某几个reducer上的数据远高于平 阅读全文

摘要：一、空字段赋值 1、函数说明 NVL：给值为NULL的数据赋值，它的格式是NVL(value,default_value)。它的功能是如果value为NULL，则NVL函数返回的defalt_value。否则返回value的值。如果两个参数为NULL，则返回NULL。 2、案例实测 -- 查询：如果 阅读全文

摘要：Hive排序 一、全局排序（order by） Order by：全局排序，只有一个reducer 1、使用 Order by 子句排序 升序：ASC，可以不写，默认是升序 降序：DESC，降序 2、order by 语句使用在select语句的结尾 3、案例实操 -- （1） 查询员工信息按工资升 阅读全文