出发一路向北

摘要： map、shuffle、reduce包含的流程如下：map:split->map->buffer in memorypartition:partition/sort/spillshuffle:copy->sort->mergereduce:shuffle result->reduce->outputpartition与shuffle区别：partition 是指把同一个map中的数据分给不同的reduceshuffle是指在分区过程中把相同的key分到同一个reducesort与combine次数：map端两次sort；reduce端一次sort；每次sor 阅读全文