摘要:
shuffle 简介 shuffle 描述了数据从 map task 输出到 reduce task 输入的过程,shuffle 是连接 map 和 reduce 的桥梁; shuffle 性能的高低直接影响了整个程序的性能和吞吐量,因为在 分布式 情况下,reduce task 需要跨节点去拉取其 阅读全文
posted @ 2019-10-24 10:19
努力的孔子
阅读(591)
评论(0)
推荐(0)