MapReduce多线程下的错误

最近在写一个MR调度程序，在以服务进程中同时开启了两个MapReduce线程。这两个MR共享同一份输入源，此时会造成Cast异常：

java.lang.ClassCastException: org.apache.hadoop.mapreduce.lib.input.FileSplit cannot be cast to org.apache.hadoop.mapred.InputSplit

    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:412)

    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:372)

    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)

 

查资料发现MR不支持多线程。所以将此2个MR合并为同一个调度，待第一个调度waitForCompletion(true)后，再调度第二个MR。串行调度。便可解决此问题。