小小

摘要： 分析了shuffle过程中，分区的原理和实现 阅读全文

摘要： map的输出，通过分区函数决定要发往哪个reducer。 有2种情况，我们自定义的Partitioner不会被调用 1) reducer个数为0 这种情况，没有reducer，不需要分区 2) reducer个数为1 这种情况，所有的map输出都会发到这个唯一的reducer，不需要调用我们的自定义 阅读全文