2015年5月7日

摘要: 当我们将作业提交到hadoop 的集群上之后,我们会发现一个问题就是无法通过web查看job运行情况,比如启动了多少个map任务,启动多少个reduce任务啊,分配多少个conbiner等等。这些信息都是作业在运行是可以查看的。而我的想要的就是能够通过远程的web可以查看到作业job的运行情况,... 阅读全文
posted @ 2015-05-07 20:26 ljy2013 阅读(6189) 评论(0) 推荐(0) 编辑
 
摘要: 在hadoop的源码中,基类Mapper类和Reducer类中都是只包含四个方法:setup方法,cleanup方法,run方法,map方法。如下所示:其方法的调用方式是在run方法中,如下所示: 可以看出,在run方法中调用了上面的三个方法:setup方法,map方法,cleanup方法。其... 阅读全文
posted @ 2015-05-07 11:09 ljy2013 阅读(3233) 评论(0) 推荐(0) 编辑