2014年1月12日

【Hadoop代码笔记】通过JobClient对Jobtracker的调用详细了解Hadoop RPC

摘要: Hadoop的各个服务间,客户端和服务间的交互采用RPC方式。关于这种机制介绍的资源很多,也不难理解,这里不做背景介绍。只是尝试从Jobclient向JobTracker提交作业这个最简单的客户端服务器交互的代码中,去跟踪和了解下RPC是怎么被使用的。不同于准备发表博客时搜索的几篇博文,试图通过一种具体的场景来介绍,属于比较初级。其他DataNode和Namenode之间,Tasktracker和JobTracker之间的交互基本也都一样。为了引用的代码篇幅尽可能少,忽略了代码中写日志(包括Metrics)、某些判断等辅助代码。1 RPC客户端请求(从JobClient 的jobSubmitC 阅读全文

posted @ 2014-01-12 21:46 idouba.net 阅读(1422) 评论(0) 推荐(0) 编辑

【Hadoop代码笔记】Hadoop作业提交之客户端作业提交

摘要: 1. 概要描述仅仅描述向Hadoop提交作业的第一步,即调用Jobclient的submitJob方法,向Hadoop提交作业。2. 详细描述Jobclient使用内置的JobSubmissionProtocol 实例jobSubmitClient 和JobTracker交互,最主要是提交作业、获取作业执行信息等。在JobClient中作业提交的主要过程如下:1)通过调用JobTracker的getNewJobId()向jobtracker请求一个新的作业ID2)获取job的jar、输入分片、作业描述等几个路径信息,以jobId命名。3)其中getSystemDir()是返回jobtracke 阅读全文

posted @ 2014-01-12 21:43 idouba.net 阅读(1260) 评论(0) 推荐(0) 编辑

【Hadoop代码笔记】目录

摘要: 整理09年时候做的Hadoop的代码笔记。开始。【Hadoop代码笔记】Hadoop作业提交之客户端作业提交【Hadoop代码笔记】通过JobClient对Jobtracker的调用看详细了解Hadoop RPC待续。。 阅读全文

posted @ 2014-01-12 21:40 idouba.net 阅读(216) 评论(0) 推荐(0) 编辑

新博客落户了

摘要: 整理之前的资料,用心的整理。主要先一下几个方面:1. 之前的hadoop代码学习笔记;2. nutch代码学习笔记3. java 并发笔记4. 数据挖掘项目实践笔记5. 数据库理论6. 项目管理心得在豆豆14个半月的时候完成,因为在整理和补充,不是start from scratch。当然还包括自己之前的有些一直在硬盘里存着的可能有些自己私密的文档,找个空间整理下。呵呵,现在发现也没有那么私密都。:-)先这些吧,开始把。 阅读全文

posted @ 2014-01-12 21:36 idouba.net 阅读(167) 评论(0) 推荐(0) 编辑

导航