2018年2月3日

hadoop之 reduce个数控制

摘要： 1、参数变更1.x 参数名 2.x 参数名 mapred.tasktracker.reduce.tasks.maximum mapreduce.tasktracker.reduce.tasks.maximummapred.reduce.tasks mapreduce.job.reduces 2、参数 阅读全文

posted @ 2018-02-03 20:02 张冲andy 阅读(879) 评论(0) 推荐(1)

hadoop之 map个数控制

摘要： hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。 为了方便介绍，先来 阅读全文

posted @ 2018-02-03 17:06 张冲andy 阅读(2323) 评论(0) 推荐(0)

导航