摘要:
HIVE数据倾斜问题问题状态: 未解决 背景:HDFS对文件进行了压缩,而且不添加索引。主要用HIVE进行开发。 发现的现象:sqoop从Mysql导入数据,根据ID进行平均分割,但是ID分部及其不均匀(我也不知道业务系统怎么搞得)。所以导致reduce出来的文件大小严重不均匀,就是所谓的数据倾斜。 阅读全文
posted @ 2016-06-30 18:05
Harlan16
阅读(487)
评论(0)
推荐(0)
浙公网安备 33010602011771号