2018年3月10日

Spark专题(二)：Hadoop Shuffle VS Spark Shuffle

摘要： Spark专题的第二篇，本来想写Spark的Shuffle是如何实现的，查了一些资料，还是不太明白的。所以，从定义和缘由开始缕一缕： 第一个问题，什么是大数据处理的Shuffle？无论是Hadoop还是Spark，都要实现Shuffle。Shuffle描述数据从map tasks的输出到reduce 阅读全文

posted @ 2018-03-10 00:23 伊翁的城市广场 阅读(1080) 评论(0) 推荐(0)

导航