2018年8月6日
Hive数据倾斜解决办法总结
摘要： 数据倾斜是进行大数据计算时最经常遇到的问题之一。当我们在执行HiveQL或者运行MapReduce作业时候，如果遇到一直卡在map100%,reduce99%一般就是遇到了数据倾斜的问题。数据倾斜其实是进行分布式计算的时候，某些节点的计算能力比较强或者需要计算的数据比较少，早早执行完了，某些节点计算 阅读全文
posted @ 2018-08-06 17:20 DarrenChan陈驰 阅读(1728) 评论(0) 推荐(0)