04 Hadoop思想与原理

1.用图与自己的话，简要描述Hadoop起源与发展阶段。（作业3中剪过来）

Hadoop最早起源于Nutch.

06年初，开发人员移除Nutch,成为Lucene的一个子项目成为Hadoop

06年2月,Apache Hadoop项目正式启动以支持MapReduce和HDFS独立发展

08年1月,Hadoop成为Apache顶级项目，迎来了快速发展期

2.用图与自己的话，简要描述名称节点、第二名称节点、数据节点的主要功能及相互关系。

名称节点负责管理分布式文件系统的命名空间

第二名称节点获取名称节点的镜像文件和日志文件实现元数据持久化

数据节点存储数据，将管理的数据块上报给namenode

3.分别从以下这些方面，梳理清楚HDFS的 结构与运行流程，以图的形式描述。

• 客户端与HDFS
• 客户端读
• 客户端写
• 数据结点与集群
• 数据结点与名称结点
• 名称结点与第二名称结点
• 数据结点与数据结点
• 数据冗余
• 数据存取策略
• 数据错误与恢复