2019年7月31日
hadoop2.7作业提交详解之文件分片
摘要： 在前面一篇文章中（hadoop2.7之作业提交详解（上））中涉及到文件的分片。 JobSubmitter.submitJobInternal方法中调用了int maps = writeSplits(job, submitJobDir); //设置map的数量，而map的数量是根据文件的大小和分片的大 阅读全文
posted @ 2019-07-31 15:24 一寸HUI 阅读(1465) 评论(0) 推荐(0)
hadoop2.7之作业提交详解（下）
摘要： 接着作业提交详解（上）继续写：在上一篇（hadoop2.7之作业提交详解（上））中已经讲到了YARNRunner.submitJob() [WordCount.main() -> Job.waitForCompletion() -> Job.submit() -> Job.connect() -> 阅读全文
posted @ 2019-07-31 14:40 一寸HUI 阅读(1746) 评论(0) 推荐(0)