2019年4月26日
Hadoop Mapreduce中shuffle 详解
摘要： MapReduce 里面的shuffle:描述者数据从map task 输出到reduce task 输入的这段过程 Shuffle 过程： 首先，map 输出的<key,value > 会放在内存中，内存有一定的大小，超过之后，会将内存里的东西溢写（spill） 到磁盘（disk)中 。在从内存溢 阅读全文
posted @ 2019-04-26 11:40 Chris,Cai 阅读(403) 评论(0) 推荐(0)