文章分类 -  hadoop source analysis

Hadoop-1.2.1 源码分析2 (Hadoop IO模块)
摘要：由于Hadoop的MapReduce和HDFS都有通信的需求，所以需要对通信的对象进行序列化. Hadoop并没有采用Java的序列化，而是引入了它自己的序列化系统.org.apache.hadoop.io包中定义了大量的可序列化对象，这些对象都实现了 Writable 接口. Writable 接... 阅读全文
posted @ 2015-06-26 15:29 清山布衣 阅读(454) 评论(0) 推荐(0)
Hadoop-1.2.1 源码分析1 (包图概览)
摘要：要存点货啊, 潜心研究技术Hadoop主要包括如下组成部分：Hadoop Core：一些支持hadoop其它子项目的通用工具集 (新版本改为 Hadoop Common)HDFS：一个高容错性的分布式文件系统，用于存储数据MapReduce：一个处理大数据集的分布式计算框架图1-1 是Hadoop项... 阅读全文
posted @ 2015-06-25 12:16 清山布衣 阅读(497) 评论(0) 推荐(0)