摘要: Shuffle过程 在MapReduce框架中,shuffle是连接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现,也实现了shuffle的逻辑。 阅读全文
posted @ 2017-09-13 10:23 fcyh 阅读(1878) 评论(0) 推荐(0) 编辑