2019年3月8日
Spark Shuffle原理分析及性能优化
摘要： 一.HashShuffle 普通机制：产生磁盘小文件的数量为：M(map task number)*R(reduce task number) 过程： 1.map task处理完数据之后，写到buffer缓冲区，buffer的大小为32k，个数与reduce task个数一致 2. 每个buffer 阅读全文
posted @ 2019-03-08 21:42 云山之巅 阅读(657) 评论(0) 推荐(0) 编辑