摘要: 正如你所知,spark实现了多种shuffle方法,通过 spark.shuffle.manager来确定。暂时总共有三种:hash shuffle、sort shuffle和tungsten-sort shuffle,从1.2.0开始默认为sort shuffle。本节主要介绍hash shuffle。阅读全文
posted @ 2016-01-10 18:45 TheBug 阅读(601) 评论(0) 编辑