2022年7月22日
spark之shuffle
摘要： 一、Shuffle的作用是什么？Shuffle的中文解释为“洗牌操作”，可以理解成将集群中所有节点上的数据进行重新整合分类的过程。其思想来源于hadoop的mapReduce,Shuffle是连接map阶段和reduce阶段的桥梁。由于分布式计算中，每个阶段的各个计算节点只处理任务的一部分数据，若下 阅读全文
posted @ 2022-07-22 15:52 新界王 阅读(1569) 评论(0) 推荐(0)