大圆那些事

摘要： 上一篇博文对Hadoop的作业调度器进行了介绍，我们知道，JobTracker和TaskTracker是Hadoop作业调度过程中最核心的两个部分，前者负责map/reduce作业的调度与分派，后者负责map/reduce作业的实际执行，它们之间通过RPC机制进行通讯。下面将对Hadoop 0.20.2版本中作业调度相关源码进行分析，至于JobTracker和TaskTracker中与作业调度无关的源码部分，并未进行详细介绍。 阅读全文

摘要： Hadoop作业调度器的设计采用的是插件机制，即作业调度器是动态加载的、可插拔的，同时第三方可以开发自己的作业调度器替代Hadoop默认的调度器。目前，Hadoop的作业调度器主要有以下三个：FIFO Scheduler、Capacity Scheduler、Fair Scheduler。这里对Hadoop作业调度器的基本原理进行介绍，然后就其存在的问题给出了自己的理解。 阅读全文