HIVE大数据出现倾斜怎么办
摘要：
hive在跑数据时经常会出现数据倾斜的情况，使的作业经常reduce完成在99%后一直卡住，最后的１%花了几个小时都没跑完，通过YARN的管理界面配合日志，可以清楚其中的具体原因，这种情况就很可能是数据倾斜的原因，解决方法要根据具体情况来选择具体的方案 1.如果你知道某些字段造成的倾斜，可以把这些字段抽出来单独处理，这样的话，MR会多分配几个实例，提高执行速度。 2. set h... 阅读全文
posted @ 2017-01-11 22:52 tneduts 阅读(533) 评论(0) 推荐(0) 编辑
