大卫有兰达

摘要： 正确设置Hadoop程序运行时的参数可以提高程序的运行效率，但是错误的设置也会带来效率的降低，甚至程序的失败。我今天就遇到了这种情况，事情是这样的：在Hadoop的配置中有这样一个参数：mapred.reduce.slowstart.completed.maps: 这个参数控制reducer何时开始... 阅读全文

摘要： 今天在写一个统计用户信息的程序时出现了bug，导致统计结果与真实值有很大差距。经过仔细检查，我发现是错误地使用split函数导致的。看来还是对scala中的split函数的理解不够透彻。本篇博文将详细解释scala中String.split的参数及用法。因为scala中的String复用了Java的... 阅读全文