自学Hadoop

一、Hadoop基础设施

起源于Google的三篇论文:

1. 《The Google File System 》 2003年 

http://static.googleusercontent.com/media/research.google.com/zh-TW//archive/gfs-sosp2003.pdf

2.《MapReduce: Simplified Data Processing on Large Clusters》 2004年

http://static.googleusercontent.com/media/research.google.com/zh-TW//archive/mapreduce-osdi04.pdf

3.《Bigtable: A Distributed Storage System for Structured Data》 2006年

http://static.googleusercontent.com/media/research.google.com/zh-TW//archive/bigtable-osdi06.pdf

 

二、学习The Google File System

纯英文版的技术描述，看起来的确有点困难，可从百度百科GFS对它的介绍开始看起。百度百科对中国人来说真的是个好东西，虽然里面的内容不够完整，但是初步了解某一知识，还是有其可贵的地方。

技术本身所应用场景----》所解决的问题有哪些----》如何解决具体某个问题。对具体解决某个问题本身而言，则涉及到很细节的内容了。各种文档的描述，大部分我们看到的都是这些，因为这是由书或者各种文档本身的局限性，因为现在还没有3D、4D、5D的书。真正强大的书，应该需要立体展示各种问题和各种解决方案之间的因果关系、关联关系、时间关系、空间关系，这当然在未来时态。而当前面对的，仍然还是停留在平面上，或者伪三维。

言归正传，谈谈我对GFS的理解。用最泛的眼观来看，其实它就是一个文件系统。对一个文件系统而言，它定义的便是如何将数据组装（即定义数据结构），方便存取和修改。GFS比一般PC的文件系统多出的应用场景便是，需要面向未知多的用户数量，就好比开一个商店和开一个商城。GFS相对于PC的文件系统， 其复杂就是需要处理更多的场景了。

GFS定义三个角色：

Master: 相当于文件系统的功能。其实都会有多个master

ChunkServer:相当于磁盘的功能

Client:数据访问者