2022年9月4日
Spark中的Spark Shuffle详解[转]
摘要： Shuffle简介 Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。因为在分布式情况下， 阅读全文
posted @ 2022-09-04 00:24 Avery_rainys 阅读(121) 评论(0) 推荐(0)