2014年2月20日
MapReduce 中的Map后，sort不能对中文的key排序
摘要： 今天写了一个用mapreduce求平均分的程序，结果是出来了，可是没有按照“学生名字”进行排序，如果是英文名字的话，结果是排好序的。代码如下：package com.pro.bq;import java.io.IOException;import java.util.StringTokenizer;... 阅读全文
posted @ 2014-02-20 22:25 很厉害的名字 阅读(1113) 评论(0) 推荐(0)
wordCount程序中MapReduce工作过程分析
摘要： Map处理的是一个纯文本。Mapper处理的数据是由InputFormat分解过的数据集，其中InputFormat的作用是将数据集切割成小数据集InputSplit，每一个InputSplit将由一个Mapper处理，此外，InputFormat中还提供了一个RecordReader的实现，并将一个InputSplit解析成对提供给map函数。InputFormat的默认值是TextInputFormat，它针对文本文件，按行将文本切割成InputSplit，并用LineRecordReader将InputSplit解析成对，key是行在文本中的位置，value是文本中的一行。 Inp... 阅读全文
posted @ 2014-02-20 13:15 很厉害的名字 阅读(779) 评论(0) 推荐(0)