03 2015 档案

错误的配置使reduce tasks一直处于Pending状态
摘要：正确设置Hadoop程序运行时的参数可以提高程序的运行效率，但是错误的设置也会带来效率的降低，甚至程序的失败。我今天就遇到了这种情况，事情是这样的：在Hadoop的配置中有这样一个参数：mapred.reduce.slowstart.completed.maps: 这个参数控制reducer何时开始... 阅读全文
posted @ 2015-03-06 00:22 大卫有兰达 阅读(2263) 评论(0) 推荐(0)