12 2015 档案

从Job中获得一个Task的具体执行流程图
摘要： 阅读全文

posted @ 2015-12-29 15:33 哈喽123 阅读(194) 评论(0) 推荐(0)

CapacityScheduler工作机制详解
摘要： 阅读全文

posted @ 2015-12-17 20:15 哈喽123 阅读(178) 评论(0) 推荐(0)

hadoop中jobTracker的黑名单（集群的黑名单）与job(JobInProgress)的黑名单的区别
摘要：Hadoop对计算节点TaskTracker的惩罚机制 阅读全文

posted @ 2015-12-11 15:49 哈喽123 阅读(161) 评论(0) 推荐(0)

jobtracker自身启动与FIFO 调度器的工作过程
摘要：jobtracker自身的main函数如下： 1 public static void main(String argv[] 2 ) throws IOException, InterruptedException { 3 StringUt... 阅读全文

posted @ 2015-12-11 15:00 哈喽123 阅读(220) 评论(0) 推荐(0)

jobtracker对提交作业的初始化
摘要：通过EagerTaskInitializationListener类中的jobAdded（jobInProgress job）方法将所提交的作业加入到要初始化的作业队列中，代码如下：public void jobAdded(JobInProgress job) { synchronized (job... 阅读全文

posted @ 2015-12-11 11:42 哈喽123 阅读(271) 评论(0) 推荐(0)

jobTrack处理jobClient所提交的作业的流程图
摘要： 阅读全文

posted @ 2015-12-10 20:34 哈喽123 阅读(205) 评论(0) 推荐(0)

FIFO 调度器中比较器的具体实现
摘要：class JobQueueJobInProgressListener extends JobInProgressListener ，其中JobQueueJobInProgressListener有个静态内部类JobSchedulingInfoint compare(Object o1, Objec... 阅读全文

posted @ 2015-12-08 21:13 哈喽123 阅读(152) 评论(0) 推荐(0)

hadoop任务执行过程中函数的调用层次
摘要：class Job extends JobContextclass JobClient extends Configured implements MRConstants, Toolinterface JobSubmissionProtocol extends VersionedProtocolcl... 阅读全文

posted @ 2015-12-08 16:44 哈喽123 阅读(350) 评论(0) 推荐(0)

hadoop中job，jobtracker相关
摘要：job类extends jobcontext类jobclient类 extends configured类;jobclient类 implements Tool,MRconstants接口jobtrack中设置调度器读配置文件在configuration类中的get方法若配置自己的调度算法，应该是直... 阅读全文

posted @ 2015-12-07 22:09 哈喽123 阅读(260) 评论(0) 推荐(0)

导航