十二道MR习题 - 2 - 多文件保存

题目:

需要将MR的执行结果保存到3个文件中,该怎么做。

又是一个送分题。

对于Hadoop的MapReduce来说只需要设置一下reduce任务的数量即可。MR的Job默认reduce数量是1,需要调用job的setNumReduceTasks()方法来调整reduce任务的数量。

对于spark来说,可以调用coalesce方法或repartition方法来调整分区的数量,这样也可以调整最终结果输出文件的数量。关于coalesce方法和分区的关系这里不展开了,随便搜搜就能找到了。

#######

posted @ 2017-09-19 22:09  robin·张  阅读(232)  评论(0编辑  收藏  举报