随笔 - 25  文章 - 0 评论 - 14 trackbacks - 0

摘要:Shuffle本意是 混洗, 洗牌的意思, 在MapReduce过程中需要各节点上同一类数据汇集到某一节点进行计算,把这些分布在不同节点的数据按照一定的规则聚集到一起的过程成为Shuffle. 在Hadoop的MapReduce框架中, Shuffle是连接Map和Reduce之间的桥梁, Map的 阅读全文
posted @ 2019-05-28 12:48 wangt.cc 阅读 (192) 评论 (0) 编辑