摘要:
调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。 数据倾斜发生时的现象 1、绝大多数task执行得都非常快,但个别task执行极慢。比如,总共 阅读全文
posted @ 2017-08-01 22:19
耳木东木2
阅读(177)
评论(0)
推荐(0)
摘要:
http://lxw1234.com/archives/2016/05/675.htm 阅读全文
posted @ 2017-08-01 14:04
耳木东木2
阅读(74)
评论(0)
推荐(0)
浙公网安备 33010602011771号