ZFYCH_Love

摘要： 我们会定义Job，我们会定义map和reduce程序。那么，这个Job到底是怎么提交的？提交到哪去了？它到底和集群怎么进行交互的呢？ 这篇文章将从头讲起。 开发hadoop的程序时，一共有三大块，也就是Driver、map、reduce，在Driver中，我们要定义Configuration，定义J 阅读全文

摘要： 在弄清楚yarn是什么之前，先来看一下MRv1。 它的由编程模型+数据处理引擎（map/reduceTask）+运行时环境组成（JobTracker/TaskTracker）。其中JobTracker存在很多问题，如下： 1、JobTracker本身承担了调度和计算的任务，太累了 2、JobTrac 阅读全文