哈喽123

从Job中获得一个Task的具体执行流程图

摘要：阅读全文

posted @ 2015-12-29 15:33 哈喽123 阅读(193) 评论(0) 推荐(0)

CapacityScheduler工作机制详解

摘要：阅读全文

posted @ 2015-12-17 20:15 哈喽123 阅读(177) 评论(0) 推荐(0)

hadoop中jobTracker的黑名单（集群的黑名单）与job(JobInProgress)的黑名单的区别

摘要： Hadoop对计算节点TaskTracker的惩罚机制阅读全文

posted @ 2015-12-11 15:49 哈喽123 阅读(159) 评论(0) 推荐(0)

jobtracker自身启动与FIFO 调度器的工作过程

摘要： jobtracker自身的main函数如下： 1 public static void main(String argv[] 2 ) throws IOException, InterruptedException { 3 StringUt... 阅读全文

posted @ 2015-12-11 15:00 哈喽123 阅读(220) 评论(0) 推荐(0)

jobtracker对提交作业的初始化

摘要：通过EagerTaskInitializationListener类中的jobAdded（jobInProgress job）方法将所提交的作业加入到要初始化的作业队列中，代码如下：public void jobAdded(JobInProgress job) { synchronized (job... 阅读全文

posted @ 2015-12-11 11:42 哈喽123 阅读(267) 评论(0) 推荐(0)

jobTrack处理jobClient所提交的作业的流程图

摘要：阅读全文

posted @ 2015-12-10 20:34 哈喽123 阅读(203) 评论(0) 推荐(0)

FIFO 调度器中比较器的具体实现

摘要： class JobQueueJobInProgressListener extends JobInProgressListener ，其中JobQueueJobInProgressListener有个静态内部类JobSchedulingInfoint compare(Object o1, Objec... 阅读全文

posted @ 2015-12-08 21:13 哈喽123 阅读(148) 评论(0) 推荐(0)

hadoop任务执行过程中函数的调用层次

摘要： class Job extends JobContextclass JobClient extends Configured implements MRConstants, Toolinterface JobSubmissionProtocol extends VersionedProtocolcl... 阅读全文

posted @ 2015-12-08 16:44 哈喽123 阅读(348) 评论(0) 推荐(0)

hadoop中job，jobtracker相关

摘要： job类extends jobcontext类jobclient类 extends configured类;jobclient类 implements Tool,MRconstants接口jobtrack中设置调度器读配置文件在configuration类中的get方法若配置自己的调度算法，应该是直... 阅读全文

posted @ 2015-12-07 22:09 哈喽123 阅读(259) 评论(0) 推荐(0)

导航

公告