利用hadoop mapreduce进行 并行计算

如果想利用mapreduce并行计算的话，不能指望所有都是hadoop来跟你做，hadoop不可能跟你做很多事情。看下面一个问题：

x1 / 1 + x2 / 2 + x3 / 3 + …… + xn / n = 1

求出当n = 10时的所有正整数解。

先确定我们要采用的办法，就是搜索穷举。搜出n个未知数的解。

例如我们想用四个mapper来执行，就将输入文件划分为四个split就行了。例如，输入文件为：

 1 1
 2 2
 3 3
 4 4
 5 5
 6 6
 7 7
 8 8
 9 9
10 10

这10个值，为x1可能的10个值。也就是说，我们将搜索空间，划分为这10个，然后来用mapper来并行计算。但是，如果直接将这个文件扔到hdfs里，hadoop是不会跟我们开四个mapper来并行计算的，因为这个文件太小了。那么我们可以重写InputSplit，对输入文件进行划分，达到“并行计算”的效果。

 那么，我们将这个文件按行进行划分，每三行为一个块，这样就把输入文件划分为四个块，对应会有四个mapper来处理。下面看一下代码：

 1 package seven.ili;
 2  
 3  import org.apache.hadoop.classification.InterfaceAudience;
 4  import org.apache.hadoop.conf.Configuration;
 5  import org.apache.hadoop.fs.FSDataInputStream;
 6  import org.apache.hadoop.fs.FileStatus;
 7  import org.apache.hadoop.fs.FileSystem;
 8  import org.apache.hadoop.fs.Path;
 9  import org.apache.hadoop.io.LongWritable;
10  import org.apache.hadoop.io.Text;
11  import org.apache.hadoop.mapreduce.lib.input.FileSplit;
12  import org.apache.hadoop.mapred.JobConf;
13  import org.apache.hadoop.mapreduce.InputSplit;
14  import org.apache.hadoop.mapreduce.JobContext;
15  import org.apache.hadoop.mapreduce.RecordReader;
16  import org.apache.hadoop.mapreduce.TaskAttemptContext;
17  import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
18  import org.apache.hadoop.mapreduce.lib.input.LineRecordReader;
19  import org.apache.hadoop.util.LineReader;
20  
21  import java.io.FileInputStream;
22  import java.io.FileNotFoundException;
23  import java.io.IOException;
24  import java.util.ArrayList;
25  import java.util.List;
26  
27  /**
28   * Created with IntelliJ IDEA.
29   * User: Isaac Li
30   * Date: 12/20/12
31   * Time: 1:25 PM
32   * To change this template use File | Settings | File Templates.
33   */
34  public class SplitByLine extends FileInputFormat<LongWritable, Text> {
35      private int N = 3;
36  
37      @Override
38      public RecordReader<LongWritable, Text> createRecordReader(InputSplit inputSplit, TaskAttemptContext taskAttemptContext) throws IOException, InterruptedException {
39          return new LineRecordReader();
40      }
41  
42      public List<InputSplit> getSplits(JobContext job) throws IOException {
43          List<InputSplit> splits = new ArrayList<InputSplit>();
44          for (FileStatus file: listStatus(job)){
45              Path path = file.getPath();
46              FileSystem fs = path.getFileSystem(job.getConfiguration());
47              LineReader lr = null;
48              try{
49                  FSDataInputStream in = fs.open(path);
50                  Configuration conf = job.getConfiguration();
51                  lr = new LineReader(in, conf);
52                  //N = conf.getInt("mapred.line.input.format.linespermap", 3);
53                  Text line = new Text();
54                  int numLines = 0;
55                  long begin = 0;
56                  long length = 0;
57                  int num = -1;
58                  while((num = lr.readLine(line)) > 0){
59                      numLines++;
60                      length += num;
61                      if (numLines == N){
62                          splits.add(new FileSplit(path, begin, length, new String[]{}));
63                          begin += length;
64                          length = 0;
65                          numLines = 0;
66                      }
67                  }
68                  if (numLines != 0) {
69                      splits.add(new FileSplit(path, begin, length, new String[]{}));
70                  }
71              }finally {
72                  if (lr != null){
73                      lr.close();
74                  }
75              }
76          }
77          System.out.println("Total # of splits: " + splits.size());
78          return splits;
79      }
80  }

 

然后在Job class的main方法中，加上一句设置语句，

job.setInputFormatClass(SplitByLine.class);

到此，我们的第一阶段的任务完成了，将原始问题的解空间，划分成了四个，来进来并行计算。下面，在子空间中的搜索就交给mapper来执行了。这个方法就自己去写吧，一个搜索的算法。我就不写出了。对了，你可以用：

job.setNumReduceTasks(0);

这一条语句，先将reduce task num 设置为0， 你就可以看到mapper的输出，是不是有四个文件？一共有四个mapper？

自己去验证吧。

 

参考：

http://www.hadoopor.com/viewthread.php?tid=1242

 

揭秘InputFormat：掌控Map Reduce任务执行的利器：     http://www.infoq.com/cn/articles/HadoopInputFormat-map-reduce