2017年12月16日
Spark源码分析之Sort-Based Shuffle读写流程
摘要： 一 、概述 我们知道Spark Shuffle机制总共有三种： 1.未优化的Hash Shuffle：每一个ShuffleMapTask都会为每一个ReducerTask创建一个单独的文件，总的文件数是S * R,不仅文件数量很多，造成频繁的磁盘和网络I/O,而且内存负担也很大，GC频繁,经常出现O 阅读全文
posted @ 2017-12-16 22:33 大葱拌豆腐 阅读(2882) 评论(1) 推荐(0)