摘要: 正如你所知,spark实现了多种shuffle方法,通过 spark.shuffle.manager来确定。暂时总共有三种:hash shuffle、sort shuffle和tungsten-sort shuffle,从1.2.0开始默认为sort shuffle。本节主要介绍sort shuffle。阅读全文
posted @ 2016-01-12 07:57 TheBug 阅读(2089) 评论(0) 编辑