Hadoop MapReduce两种架构 以及 YARN
一、MRv1
Master - Slave 模式
存在JobTracker单点失败的问题，在YARN得到了解决。
主要包含4部分：JobTracker，TaskTracker，Task，Client
JobTracker：负责整个MR集群的资源监控和作业调度，集群的Master。它把任务进度 和 资源使用量告诉调度器TaskScheduler，由调度器来计划如何调度，调度器是个可挺拔模块。
TaskTracker：负责周期性的向JobTracker汇报每个节点的状况，并执行JobTracker发来的命令。TaskTracker使用slot来等量划分节点上的资源（CPU和内存），slot分为map slot 和 reduce slot两种，分别提供给map task 和 reduce task使用。
Task：分为MapTask 和 ReduceTask两种，由TaskTracker启动。通常一个Task只使用一个slot，但也可使用多个。
作业提交过程：
1、首先在客户端启动作业；
2、向JobTracker请求一个Job ID;
3、接着将运行作业所需要的资源文件复制到HDFS上，主要是作业的jar包、配置信息、输入划分等；这些文件都存放在JobTracker专门为该作业创建的文件夹中。文件名为作业ID。Jar默认有10个副本，输入划分告诉JobTracker有多少个map任务等信息。
4、之后客户端会再向JobTracker正式提交作业，JobTracker会将作业放在一个作业队列中，等待调度。当调度到这个作业时，会先根据划分信息为每个split创建一个map任务，并交给TaskTracker来执行。
5、TaskTracker会每隔一段时间会给JobTracker汇报作业的进度状况。当最后一个任务完成时，便把该作业置为成功，并反馈给客户端。
二、MRv2-Yarn
把资源管理 和 应用程序管理 剥离出来；划分为两个独立的守护进程，管理集群的资源使用 和 管理运行任务的生命周期。
主要由4个部分组成：
ResourceManager：控制整个集群 并 管理应用程序向基础计算资源的分配。将各个资源部分（cpu，内存，带宽等）分配到各个NodeManager；与AM一起分配资源；与NM一起启动并监视它们的应用程序；MRv1中的JobTracker；
ApplicationManager：管理一个在YARN中运行的应用程序的实例；负责协调来自RM的资源分配；与NM一起监视容器的执行和资源的使用。MRv1中的TaskTracker
NodeManager：管理YARN集群中的节点，监视一个容器的状态和节点资源使用。
Container：YARN中资源的抽象（cpu，内存，网络等），每个任务的执行都放在一个Container里。
作业运作流程：
三、任务调度算法
1、先入先出FIFO：Hadoop 中默认的调度器，它先按照作业的优先级高低，再按照到达时间的先后选择被执行的作业。
1、公平调度：是指一个用户作业池中的Job公平地调度，尽可能保证每个Job所有均等的处理时间；可设置每个用户池间的权重（不会因为提交作业多而占更多的资源），动态自适应性。每个用户作业池中有多个作业同时运行。
2、容量池调度：是指限制每个用户的作业队列能使用的资源量，每上队列中使用FIFO调度，静态调度。每个用户作业队列中只有一个作业运行。
