2020年3月22日
数据倾斜的原因以及解决方案
摘要： 在开发过程中大家都会遇到一个常见的问题，那就是数据倾斜。既然遇到问题，那么就应该想办法解决问题。解决问题首先要了解出现这个问题的原因。 什么是数据倾斜，比如说：在hive中 map阶段早就跑完了，reduce阶段一直卡在99%。很大情况是发生了数据倾斜，整个任务在等某个节点跑完。 在spark中大部 阅读全文
posted @ 2020-03-22 22:34 天丛云 阅读(4284) 评论(0) 推荐(0)