2017年5月22日
MapReduce Input Split 输入分/切片
摘要： MapReduce Input Split（输入分/切片）详解 public static long getMaxSplitSize(JobContext context) { return context.getConfiguration().getLong(SPLIT_MAXSIZE, Long 阅读全文
posted @ 2017-05-22 17:27 牵牛花 阅读(382) 评论(0) 推荐(0)
hadoop partitioner个数与reducer个数的试验
摘要： job.setPartitionerClass(myPartitioner.class);//设置了5个 job.setNumReduceTasks(2); 1.当分区数等于rducer数量时，正常运行， 2.当分区数等于5时，reduce为1时，正常运行,有一个结果文件 当reduce数量=2时报 阅读全文
posted @ 2017-05-22 14:53 牵牛花 阅读(215) 评论(0) 推荐(0)