2018年6月20日
Spark Shuffle（ExternalSorter）
摘要： 1、Shuffle流程 spark的shuffle过程如下图所示，和mapreduce中的类似,但在spark2.0及之后的版本中只存在SortShuffleManager而将原来的HashShuffleManager废弃掉(但是shuffleWriter的子类BypassMergeSortShuf 阅读全文
posted @ 2018-06-20 20:50 大葱拌豆腐 阅读(1462) 评论(0) 推荐(0)