2019年6月10日
spark性能调优-- 数据倾斜
摘要： 1.数据倾斜发生时的现象 绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。原本能够正常执行的Spark作业，某天突然报出OOM（内存溢出）异常，观察异常栈，是我们写的 阅读全文
posted @ 2019-06-10 15:52 问题不大1 阅读(332) 评论(0) 推荐(0) 编辑