2015年1月28日
HIVE—数据倾斜
摘要： 数据倾斜：任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异过大。单一reduce的记录数与平均记录数差异过大，通常可能达到3倍甚至更多。 最长时长远大于平均时长。解决数据倾斜，归根结底是使map的... 阅读全文
posted @ 2015-01-28 15:15 apple飘98 阅读(472) 评论(0) 推荐(0)