摘要：hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，启动的方法是通过：mr-jobhistory-daemon.sh start historyserver 命令还... 阅读全文

摘要：当我们将作业提交到hadoop 的集群上之后，我们会发现一个问题就是无法通过web查看job运行情况，比如启动了多少个map任务，启动多少个reduce任务啊，分配多少个conbiner等等。这些信息都是作业在运行是可以查看的。而我的想要的就是能够通过远程的web可以查看到作业job的运行情况，... 阅读全文

摘要：在hadoop的源码中，基类Mapper类和Reducer类中都是只包含四个方法：setup方法，cleanup方法，run方法，map方法。如下所示：其方法的调用方式是在run方法中，如下所示： 可以看出，在run方法中调用了上面的三个方法：setup方法，map方法，cleanup方法。其... 阅读全文

摘要：由于开始学习MapReduce编程已经有一段时间了，作为一个从编程中寻找自信和乐趣以及热爱编程的孩子来讲，手开始变得很“痒”了，很想小试一下身手。于是自己编写了TopK的代码。TopK的意思就是从原文件中找出词频排名前K的所有单词。首先分析该问题，从中我们可以得到启发：要想知道词频排名前K的所有... 阅读全文