摘要：一、数据倾斜问题 1、数据倾斜的原因：（1）、key分布不均匀。（2）、业务数据本身的原因。（3）、建表考虑不周。（4）、某些SQL本身就有数据倾斜。 2、如何避免数据的倾斜： （1）给key一个随机的值，打散key。 （2）Hive中的参数调节：①hive.map.aggr = true。②hiv 阅读全文

摘要：一、有哪些类型的OLAP数仓？ 1.按数据量划分 对一件事物或一个东西基于不同角度，可以进行多种分类方式。对数仓产品也一样。比如我们可以基于数据量来选择不同类型的数量，如下图所示： 本系列文章主要关注的是数据量处于百万到百亿级别的偏实时的分析型数仓，Cloudera的Impala、Facebook的 阅读全文