2020年9月9日
Spark的Shuffle和MR的Shuffle异同
摘要： 介绍 不论MapReduce还是RDD，shuffle都是非常重要的一环，也是影响整个程序执行效率的主要环节，但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗，将各个节点的同一类数据汇集到某一个节点进行计算，为了就是分布式计算的可扩展性。 可能大家多MR的 阅读全文
posted @ 2020-09-09 13:41 天马流欣 阅读(1256) 评论(1) 推荐(0) 编辑