2018年12月5日
spark.shuffle调优
摘要： 1.1.1 spark.shuffle.managerSpark1.2.0官方支持两种方式的Shuffle，即Hash Based Shuffle和Sort Based Shuffle。其中在Spark 1.0之前仅支持Hash Based Shuffle。Spark 1.1的时候引入了Sort B 阅读全文
posted @ 2018-12-05 19:41 李皇皓 阅读(1571) 评论(0) 推荐(0)