MultipleInputs/MultipleOutpus

仔细看了一下 Hadoop.MapReduce 的代码,发现了两个新类:MultipleInputs/MultipleOutpus,再仔细看它们的详细文档,的确实现了我想要的功能

不同的InputPath,可是使用不同的InputFormat 和 Mapper

可以将不同类型(可能是多种计算)的结果写入不同的Reduce Output。

 

再看一下它们的实现代码,让我大失所望,MultipleInput 还行,没有白白折损效率的地方,MultipleOutput就太让我大跌眼镜了!简单的写一条记录出去,白白做的额外工作的耗时,可以写30条记录了。

 

多了解MapReduce的整体实现,可以考虑自己做一个更高效的MultiOutput。

 

posted on 2010-02-05 15:27  能发波  阅读(198)  评论(0)    收藏  举报

导航