2016年3月30日
Hadoop学习笔记： 全排序
摘要： 在Hadoop中实现全排序有如下三种方法： 1. 只使用一个reducer 2. 自定义partitioner 3. 使用TotalOrderPartitioner 其中第一种方法显然违背了mapreduce分布式编程的初衷，在数据量大的情况下并不适用。第二种方法的问题在于开发人员需要预先知道输入数 阅读全文
posted @ 2016-03-30 14:40 finalboss1987 阅读(334) 评论(0) 推荐(0) 编辑