2015年1月5日

Spark技术内幕:Sort Based Shuffle实现解析

摘要: 在Spark 1.2.0中,Spark Core的一个重要的升级就是将默认的Hash Based Shuffle换成了Sort Based Shuffle,即spark.shuffle.manager 从hash换成了sort,对应的实现类分别是org.apache.spark.shuffle.h... 阅读全文

posted @ 2015-01-05 07:29 wu2198 阅读(306) 评论(0) 推荐(0)

导航