Spark技术内幕:Sort Based Shuffle实现解析
摘要:
在Spark 1.2.0中,Spark Core的一个重要的升级就是将默认的Hash Based Shuffle换成了Sort Based Shuffle,即spark.shuffle.manager 从hash换成了sort,对应的实现类分别是org.apache.spark.shuffle.h... 阅读全文
posted @ 2015-01-05 07:29 wu2198 阅读(306) 评论(0) 推荐(0)
浙公网安备 33010602011771号