2018年9月12日
spark性能优化之shuffle优化
摘要： 1.Shuffle原理概述 什么样的情况下，会发生shuffle？ 在spark中，主要是以下几个算子：groupByKey、reduceByKey、countByKey、join，等等。 什么是shuffle？ groupByKey：要把分布在集群各个节点上的数据中的同一个key，对应的value 阅读全文
posted @ 2018-09-12 09:14 yn_huang 阅读(7032) 评论(0) 推荐(1)