MapReduce源码分析之JobSubmitter（一）

 JobSubmitter，顾名思义，它是MapReduce中作业提交者，而实际上JobSubmitter除了构造方法外，对外提供的唯一一个非private成员变量或方法就是submitJobInternal()方法，它是提交Job的内部方法，实现了提交Job的所有业务逻辑。本文，我们将深入研究MapReduce中用于提交Job的组件JobSubmitter。

        首先，我们先看下JobSubmitter的类成员变量，如下：

 

[java] view plain copy
 
 在CODE上查看代码片派生到我的代码片
  1. // 文件系统FileSystem实例  
  2. private FileSystem jtFs;  
  3. // 客户端通信协议ClientProtocol实例  
  4. private ClientProtocol submitClient;  
  5. // 提交作业的主机名  
  6. private String submitHostName;  
  7. // 提交作业的主机地址  
  8. private String submitHostAddress;  

        它一共有四个类成员变量，分别为：

 

        1、文件系统FileSystem实例jtFs：用于操作作业运行需要的各种文件等；

        2、客户端通信协议ClientProtocol实例submitClient：用于与集群交互，完成作业提交、作业状态查询等；

        3、提交作业的主机名submitHostName；

        4、提交作业的主机地址submitHostAddress。

        其中，客户端通信协议ClientProtocol实例submitClient是通过Cluster的客户端通信协议ClientProtocol实例client来赋值的，我们在《MapReduce源码分析之新API作业提交（二）：连接集群》一文中曾经提到过，它根据MapReduce中参数mapreduce.framework.name的配置为yarn或local，有Yarn模式的YARNRunner和Local模式的LocalJobRunner两种情况。
        接下来，我们再看下JobSubmitter的构造函数，如下：

 

[java] view plain copy
 
 在CODE上查看代码片派生到我的代码片
  1.  JobSubmitter(FileSystem submitFs, ClientProtocol submitClient)   
  2.  throws IOException {  
  3.     
  4. // 根据入参赋值成员变量submitClient、jtFs  
  5.    this.submitClient = submitClient;  
  6.    this.jtFs = submitFs;  
  7.  }  

        很简单，根据入参赋值成员变量submitClient、jtFs而已。

 

        关键的来了，我们看下JobSubmitter唯一的对外核心功能方法submitJobInternal()，它被用于提交作业至集群，代码如下：

 

[java] view plain copy
 
 在CODE上查看代码片派生到我的代码片
  1.  /** 
  2.   * Internal method for submitting jobs to the system. 
  3.   *  
  4.   * <p>The job submission process involves: 
  5.   * <ol> 
  6.   *   <li> 
  7.   *   Checking the input and output specifications of the job. 
  8.   *   </li> 
  9.   *   <li> 
  10.   *   Computing the {@link InputSplit}s for the job. 
  11.   *   </li> 
  12.   *   <li> 
  13.   *   Setup the requisite accounting information for the  
  14.   *   {@link DistributedCache} of the job, if necessary. 
  15.   *   </li> 
  16.   *   <li> 
  17.   *   Copying the job's jar and configuration to the map-reduce system 
  18.   *   directory on the distributed file-system.  
  19.   *   </li> 
  20.   *   <li> 
  21.   *   Submitting the job to the <code>JobTracker</code> and optionally 
  22.   *   monitoring it's status. 
  23.   *   </li> 
  24.   * </ol></p> 
  25.   * @param job the configuration to submit 
  26.   * @param cluster the handle to the Cluster 
  27.   * @throws ClassNotFoundException 
  28.   * @throws InterruptedException 
  29.   * @throws IOException 
  30.   */  
  31.  JobStatus submitJobInternal(Job job, Cluster cluster)   
  32.  throws ClassNotFoundException, InterruptedException, IOException {  
  33.   
  34.    //validate the jobs output specs   
  35. // 调用checkSpecs()方法，校验作业输出路径是否配置，且是否已存在，  
  36. // 正确的情况应该是已配置且未存在，输出路径配置参数为mapreduce.output.fileoutputformat.outputdir，  
  37. // 之前WordCount作业的输出路径配置为hdfs://nameservice1/output/output  
  38.    checkSpecs(job);  
  39.   
  40.    // 从作业job中获取配置信息conf  
  41.    Configuration conf = job.getConfiguration();  
  42.      
  43.    // 调用addMRFrameworkToDistributedCache()方法添加应用框架路径到分布式缓存中  
  44.    addMRFrameworkToDistributedCache(conf);  
  45.   
  46.    // 通过JobSubmissionFiles的getStagingDir()静态方法获取作业执行时阶段区域路径jobStagingArea  
  47.    // 取参数yarn.app.mapreduce.am.staging-dir，参数未配置默认为/tmp/hadoop-yarn/staging  
  48. // 然后后面是/提交作业用户名/.staging  
  49. // 通过之前的WordCount任务的执行，我们查看历史记录，得知参数yarn.app.mapreduce.am.staging-dir配置的为/user，  
  50. // 而提交作业用户名为hdfs，所以完整的路径应该为/user/hdfs/.staging  
  51.    Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);  
  52.      
  53.    //configure the command line options correctly on the submitting dfs  
  54.    // 获取当前本机地址  
  55.    InetAddress ip = InetAddress.getLocalHost();  
  56.      
  57.    // 确定提交作业的主机地址、主机名，并设置入配置信息conf，对应参数分别为  
  58.    // mapreduce.job.submithostname  
  59.    // mapreduce.job.submithostaddress  
  60.    if (ip != null) {  
  61.      submitHostAddress = ip.getHostAddress();  
  62.      submitHostName = ip.getHostName();  
  63.      conf.set(MRJobConfig.JOB_SUBMITHOST,submitHostName);  
  64.      conf.set(MRJobConfig.JOB_SUBMITHOSTADDR,submitHostAddress);  
  65.    }  
  66.      
  67.    // 生成作业ID，即JobID实例jobId  
  68.    JobID jobId = submitClient.getNewJobID();  
  69.      
  70.    // 将jobId设置入job  
  71.    job.setJobID(jobId);  
  72.      
  73.    // 构造提交作业路径Path实例submitJobDir，jobStagingArea后接/jobId，比如/job_1459913635503_0005  
  74.    // 之前WordCount作业的完整路径为/user/hdfs/.staging/job_1459913635503_0005  
  75.    Path submitJobDir = new Path(jobStagingArea, jobId.toString());  
  76.    JobStatus status = null;  
  77.      
  78.    // 设置作业一些参数：  
  79.    try {  
  80.       
  81.      // 设置mapreduce.job.user.name为当前用户，之前的WordCount示例配置的为hdfs用户  
  82.      conf.set(MRJobConfig.USER_NAME,  
  83.          UserGroupInformation.getCurrentUser().getShortUserName());  
  84.        
  85.      // 设置hadoop.http.filter.initializers为AmFilterInitializer  
  86.      conf.set("hadoop.http.filter.initializers",   
  87.          "org.apache.hadoop.yarn.server.webproxy.amfilter.AmFilterInitializer");  
  88.        
  89.      // 设置mapreduce.job.dir为submitJobDir，比如/user/hdfs/.staging/job_1459913635503_0005  
  90.      conf.set(MRJobConfig.MAPREDUCE_JOB_DIR, submitJobDir.toString());  
  91.      LOG.debug("Configuring job " + jobId + " with " + submitJobDir   
  92.          + " as the submit dir");  
  93.        
  94.      // get delegation token for the dir  
  95.      // 获取路径的授权令牌：调用TokenCache的obtainTokensForNamenodes()静态方法  
  96.      TokenCache.obtainTokensForNamenodes(job.getCredentials(),  
  97.          new Path[] { submitJobDir }, conf);  
  98.        
  99.      // 获取密钥和令牌，并将它们存储到令牌缓存TokenCache中  
  100.      populateTokenCache(conf, job.getCredentials());  
  101.   
  102.      // generate a secret to authenticate shuffle transfers  
  103.      if (TokenCache.getShuffleSecretKey(job.getCredentials()) == null) {  
  104.        KeyGenerator keyGen;  
  105.        try {  
  106.           
  107.          int keyLen = CryptoUtils.isShuffleEncrypted(conf)   
  108.              ? conf.getInt(MRJobConfig.MR_ENCRYPTED_INTERMEDIATE_DATA_KEY_SIZE_BITS,   
  109.                  MRJobConfig.DEFAULT_MR_ENCRYPTED_INTERMEDIATE_DATA_KEY_SIZE_BITS)  
  110.              : SHUFFLE_KEY_LENGTH;  
  111.          keyGen = KeyGenerator.getInstance(SHUFFLE_KEYGEN_ALGORITHM);  
  112.          keyGen.init(keyLen);  
  113.        } catch (NoSuchAlgorithmException e) {  
  114.          throw new IOException("Error generating shuffle secret key", e);  
  115.        }  
  116.        SecretKey shuffleKey = keyGen.generateKey();  
  117.        TokenCache.setShuffleSecretKey(shuffleKey.getEncoded(),  
  118.            job.getCredentials());  
  119.      }  
  120.   
  121.      // 复制并且配置相关文件  
  122.      copyAndConfigureFiles(job, submitJobDir);  
  123.   
  124.      // 获取配置文件路径：job.xml  
  125.      Path submitJobFile = JobSubmissionFiles.getJobConfPath(submitJobDir);  
  126.        
  127.      // Create the splits for the job  
  128.      LOG.debug("Creating splits at " + jtFs.makeQualified(submitJobDir));  
  129.        
  130.      // 调用writeSplits()方法，写分片数据文件job.split和分片元数据文件job.splitmetainfo，  
  131.      // 并获得计算得到的map任务数目maps  
  132.      int maps = writeSplits(job, submitJobDir);  
  133.        
  134.      // 配置信息中设置map任务数目mapreduce.job.maps为上面得到的maps  
  135.      conf.setInt(MRJobConfig.NUM_MAPS, maps);  
  136.        
  137.      LOG.info("number of splits:" + maps);  
  138.   
  139.      // write "queue admins of the queue to which job is being submitted"  
  140.      // to job file.  
  141.        
  142.      // 获取作业队列名queue，取参数mapreduce.job.queuename，参数未配置默认为default，  
  143.      // 之前的WordCount任务示例中，作业队列名queue就为default  
  144.      String queue = conf.get(MRJobConfig.QUEUE_NAME,  
  145.          JobConf.DEFAULT_QUEUE_NAME);  
  146.        
  147.      // 获取队列的访问权限控制列表AccessControlList实例acl，通过客户端通信协议ClientProtocol实例submitClient的getQueueAdmins()方法，传入队列名queue，  
  148.      // 实际上之前的WordCount任务示例中，这里获取的是*  
  149.      AccessControlList acl = submitClient.getQueueAdmins(queue);  
  150.        
  151.      // 配置信息中设置队列参数mapred.queue.default.acl-administer-jobs  
  152.      // 之前的WordCount任务示例中，该参数被设置成为*  
  153.      conf.set(toFullPropertyName(queue,  
  154.          QueueACL.ADMINISTER_JOBS.getAclName()), acl.getAclString());  
  155.   
  156.      // removing jobtoken referrals before copying the jobconf to HDFS  
  157.      // as the tasks don't need this setting, actually they may break  
  158.      // because of it if present as the referral will point to a  
  159.      // different job.  
  160.      // 清空缓存的令牌  
  161.      TokenCache.cleanUpTokenReferral(conf);  
  162.   
  163.      // 根据参数确定是否需要追踪令牌ID  
  164.      // 取参数mapreduce.job.token.tracking.ids.enabled，参数未配置默认为false  
  165.      if (conf.getBoolean(  
  166.          MRJobConfig.JOB_TOKEN_TRACKING_IDS_ENABLED,  
  167.          MRJobConfig.DEFAULT_JOB_TOKEN_TRACKING_IDS_ENABLED)) {  
  168.          
  169.     // 通过job获取令牌ID，并存储到trackingIds列表中  
  170.     // Add HDFS tracking ids  
  171.        ArrayList<String> trackingIds = new ArrayList<String>();  
  172.        for (Token<? extends TokenIdentifier> t :  
  173.            job.getCredentials().getAllTokens()) {  
  174.          trackingIds.add(t.decodeIdentifier().getTrackingId());  
  175.        }  
  176.          
  177.        // 将trackingIds列表中的内容设置到参数mapreduce.job.token.tracking.ids中  
  178.        conf.setStrings(MRJobConfig.JOB_TOKEN_TRACKING_IDS,  
  179.            trackingIds.toArray(new String[trackingIds.size()]));  
  180.      }  
  181.   
  182.      // Set reservation info if it exists  
  183.      // 如有必要，设置存在的预订信息  
  184.      // 参数为mapreduce.job.reservation.id  
  185.      ReservationId reservationId = job.getReservationId();  
  186.      if (reservationId != null) {  
  187.        conf.set(MRJobConfig.RESERVATION_ID, reservationId.toString());  
  188.      }  
  189.   
  190.      // Write job file to submit dir  
  191.      // 调用writeConf()方法，写入作业配置信息至文件job.xml  
  192.      writeConf(conf, submitJobFile);  
  193.        
  194.      //  
  195.      // Now, actually submit the job (using the submit name)  
  196.      // 调用printTokens()方法打印令牌信息到Log文件  
  197.      printTokens(jobId, job.getCredentials());  
  198.        
  199.      // 通过客户端通信协议ClientProtocol实例submitClient的submitJob()方法提交作业，  
  200.      // 并获取作业状态JobStatus实例status  
  201.      // 由集群连接一文的分析我们可以知道，这个submitClient实际上是YARNRunner或LocalJobRunner对象，  
  202.      // 最终调用的是二者的submitJob()方法，我们留待以后分析  
  203.      status = submitClient.submitJob(  
  204.          jobId, submitJobDir.toString(), job.getCredentials());  
  205.        
  206.      // 如果作业状态JobStatus实例status不为null，直接返回，否则抛出无法加载作业的IO异常  
  207.      if (status != null) {  
  208.        return status;  
  209.      } else {  
  210.        throw new IOException("Could not launch job");  
  211.      }  
  212.    } finally {  
  213.       
  214.      // 最终，抛出无法加载作业的IO异常前，调用文件系统FileSystem实例jtFs的delete()方法，  
  215.      // 删除作业提交的相关目录或文件submitJobDir  
  216.      if (status == null) {  
  217.        LOG.info("Cleaning up the staging area " + submitJobDir);  
  218.        if (jtFs != null && submitJobDir != null)  
  219.          jtFs.delete(submitJobDir, true);  
  220.   
  221.      }  
  222.    }  
  223.  }  

        submitJobInternal()方法篇幅比较长，逻辑也很复杂，本文先介绍下它的大体逻辑，后续分文会介绍各个环节的详细内容，且下面涉及到的之前WordCount作业示例在《Hadoop2.6.0版本MapReudce示例之WordCount（一）》及其姊妹篇中，敬请注意！submitJobInternal()方法大体逻辑如下：

 

        1、调用checkSpecs()方法，校验作业输出路径是否配置，且是否已存在：

              正确的情况应该是已配置且未存在，输出路径配置参数为mapreduce.output.fileoutputformat.outputdir，之前WordCount作业的输出路径配置为hdfs://nameservice1/output/output；

        2、从作业job中获取配置信息conf；

        3、调用addMRFrameworkToDistributedCache()方法添加应用框架路径到分布式缓存中；

        4、通过JobSubmissionFiles的getStagingDir()静态方法获取作业执行时阶段区域路径jobStagingArea：

              取参数yarn.app.mapreduce.am.staging-dir，参数未配置默认为/tmp/Hadoop-yarn/staging，然后后面是/提交作业用户名/.staging，通过之前的WordCount任务的执行，我们查看历史记录，得知参数yarn.app.mapreduce.am.staging-dir配置的为/user，而提交作业用户名为hdfs，所以完整的路径应该为/user/hdfs/.staging；

        5、获取当前本机地址ip；

        6、确定提交作业的主机地址、主机名，并设置入配置信息conf，对应参数分别为mapreduce.job.submithostname、mapreduce.job.submithostaddress；

        7、生成作业ID，即JobID实例jobId：

              通过客户端通信协议ClientProtocol实例submitClient的getNewJobID()方法生成作业ID，即JobID实例jobId；

        8、 将jobId设置入job；

        9、构造提交作业路径Path实例submitJobDir：

               jobStagingArea后接/jobId，比如/job_1459913635503_0005，之前WordCount作业的完整路径为/user/hdfs/.staging/job_1459913635503_0005；

        10、设置作业一些参数：

                 10.1、设置mapreduce.job.user.name为当前用户，之前的WordCount示例配置的为hdfs用户；

                 10.2、设置hadoop.http.filter.initializers为AmFilterInitializer；

                 10.3、设置mapreduce.job.dir为submitJobDir，比如/user/hdfs/.staging/job_1459913635503_0005；

        11、获取路径的授权令牌：调用TokenCache的obtainTokensForNamenodes()静态方法；

        12、通过populateTokenCache()方法获取密钥和令牌，并将它们存储到令牌缓存TokenCache中；

        14、复制并且配置相关文件：通过copyAndConfigureFiles()方法实现；

        15、获取配置文件路径：job.xml;

        16、调用writeSplits()方法，写分片数据文件job.split和分片元数据文件job.splitmetainfo，并获得计算得到的map任务数目maps；

        17、配置信息中设置map任务数目mapreduce.job.maps为上面得到的maps；

        18、获取作业队列名queue，取参数mapreduce.job.queuename，参数未配置默认为default，之前的WordCount任务示例中，作业队列名queue就为default；

        19、获取队列的访问权限控制列表AccessControlList实例acl：

                通过客户端通信协议ClientProtocol实例submitClient的getQueueAdmins()方法，传入队列名queue，实际上之前的WordCount任务示例中，这里获取的是*；

        20、配置信息中设置队列参数mapred.queue.default.acl-administer-jobs，之前的WordCount任务示例中，该参数被设置成为*；

        21、清空缓存的令牌：通过TokenCache的cleanUpTokenReferral()方法实现；

        22、根据参数确定是否需要追踪令牌ID，如果需要的话：

                取参数mapreduce.job.token.tracking.ids.enabled，参数未配置默认为false，通过job获取令牌ID，并存储到trackingIds列表中，将trackingIds列表中的内容设置到参数mapreduce.job.token.tracking.ids中；

        23、如有必要，设置存在的预订信息：参数为mapreduce.job.reservation.id；

        24、调用writeConf()方法，写入作业配置信息至文件job.xml；

        25、调用printTokens()方法打印令牌信息到Log文件；

        26、通过客户端通信协议ClientProtocol实例submitClient的submitJob()方法提交作业，并获取作业状态JobStatus实例status：

                由集群连接一文的分析我们可以知道，这个submitClient实际上是YARNRunner或LocalJobRunner对象，最终调用的是二者的submitJob()方法，我们留待以后分析；

        27、如果作业状态JobStatus实例status不为null，直接返回，否则抛出无法加载作业的IO异常：

                最终，抛出无法加载作业的IO异常前，调用文件系统FileSystem实例jtFs的delete()方法，删除作业提交的相关目录或文件submitJobDir。

 

        整体流程如上，对于关键步骤的主要细节，限于篇幅，敬请关注《MapReduce源码分析之JobSubmitter（二）》！

posted @ 2016-06-03 15:10  吉日木图  阅读(248)  评论(0)  编辑  收藏  举报