2019年6月15日

Hadoop中的全排序和二次排序

摘要： 1、MapReduce的全排序 （1）使用一个reduce进行排序。 MapReduce默认保证同一个分区内的Key是有序的，但是不保证全局有序。如果我们将所有的数据全部发送到一个Reduce，就可以实现结果全局有序。所有的数据都发送到一个Reduce进行排序，这样不能充分利用集群的计算资源，而且在 阅读全文

posted @ 2019-06-15 11:51 hdc520 阅读(483) 评论(0) 推荐(0)

导航