摘要：1、package org.apache.hadoop.mapred这四个协议都在这个包下。 2、从最简单的AdminOperationsProtocol看， void refreshQueues() throws IOException; void refreshNodes() throws IOException; boolean setSafeMode(JobTracker.Saf... 阅读全文

摘要：1、ClientProtocol这个玩意的版本号是61L；DatanodeProtocol 是26L；NamenodeProtocol是 3L;RefreshAuthorizationPolicyProtocol是1L，RefreshUserMappingsProtocol是1L， 好了，列举这玩意有什么用，大家也看到了，其实，最经常变化的是ClientProtocol，然后是DatanodePr... 阅读全文

摘要：1、首先，我看的是hadoop1.2.1 这个里边，有点奇怪ClientDatanodeProtocol的versionID是4，但是InterDatanodeProtocol的versionID是3， 而且这两个还不再同一个包下，InterDatanodeProtocol位于org.apache.hadoop.hdfs.server.protocol下，而ClientDatanodeProtoc... 阅读全文

摘要：Phase 0: Make a plan You must first decide what steps you’re going to have in your process. It sounds simple (in fact, all of this sounds simple), and yet people often don’t make this decision before ... 阅读全文

摘要：VersionedProtocol协议是Hadoop的最顶层协议接口的抽象；5--3--3共11个协议，嘿嘿 1）HDFS相关 ClientDatanodeProtocol：client与datanode交互的接口，操作不多，只有一个block恢复的方法。那么，其它数据请求的方法呢？client与datanode主要交互是通过流式的socket实现，源码在DataXceiver，在这里先不说了；... 阅读全文

摘要：A simple RPC mechanism.A protocol is a Java interface. All parameters and return types must be one of:a primitive type（这个注意是9个基本类型，包括void），a String ; or a Writable or an array of the above types Al... 阅读全文

摘要：1、An abstract IPC service. IPC calls take a single {@link Writable} as a parameter, and return a {@link Writable} as their value. A service runs on a port and is defined by a parameter class and a v... 阅读全文

摘要：1、Client有五个内部类，分别是Call，ParallelCall,ParallelResult,Connetion,ConnectionId 其实这五个类就是去完成两件事情的，一件事情是连接，另外一件事情是调用，而连接呢主要通过Connection来完成，ConnectionId是它的辅助类。调用呢，Call为主，由于会同时和NameNode和其他DataNode通讯，所以需要一个Paral... 阅读全文

摘要：package org.apache.hadoop.io; import java.io.DataOutput;import java.io.DataInput;import java.io.IOException; /** * A serializable object which implements a simple, efficient, 一个序列化的对象，这个家伙实现了一个简单、高效、... 阅读全文

摘要：HDFS作为一个分布式文件系统，是所有这些项目的基础。分析好HDFS，有利于了解其他系统。由于Hadoop的HDFS和MapReduce是同一个项目，我们就把他们放在一块，进行分析。 如果把整个hadoop当做一个java中的类的话，那么HDFS就是这个类的静态变量，其他的项目是hadoop中的方法。 hdfs HDFS，Hadoop的分布式文件系统实现文件系统的抽象，可以理解为支持多种文件系统... 阅读全文

摘要：1、Hadoop的包的功能分析 2、由于Hadoop的MapReduce和HDFS都有通信的需求，需要对通信的对象进行序列化。Hadoop并没有采用java的序列化，而是引入它自己的系统。org.apache.hadoop.io中定义了大量的可序列化对象，他们都实现了Writable接口。 3、介绍完org.apache.hadoop.io以后，我们开始来分析org.apache.hadoop.i... 阅读全文

摘要：http://blog.csdn.net/huoyunshen88/article/details/8611629 阅读全文