第四次作业

.用图文与自己的话，简要描述Hadoop起源与发展阶段。

1. Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
   2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
   ——分布式文件系统（GFS），可用于处理海量网页的存储
   ——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。
   Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目(同年，cloudera公司成立)，迎来了它的快速发展期。
   狭义上来说，hadoop就是单独指代hadoop这个软件，
   广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件

    

2.用图与自己的话，简要描述名称节点、第二名称节点、数据节点的主要功能及相互关系。

名称节点：管理HDFS，   存储实际的数据块，执行数据块的读/写操作。

                 接受客户端的请求：文件上传、文件下载

                 管理和维护日志（edits文件）和元信息（数据块的位置信息：fsimage文件）

第二名称节点：

         1、辅助 NameNode，分担其工作量。

         2、定期合并 fsimage和fsedits，并推送给NameNode。

         3、在紧急情况下，可辅助恢复 NameNode

数据结点：   

   是HDFS的工作节点，负责数据的存储和读取  ， 存储管理用户的文件块数据

 

 

 

 

 

 

 

 

3.分别从以下这些方面，梳理清楚HDFS的 结构与运行流程，以图的形式描述。

• 客户端与HDFS
• 客户端读
• 客户端写
• 数据结点与集群
• 数据结点与名称结点
• 名称结点与第二名称结点
• 数据结点与数据结点
• 数据冗余
• 数据存取策略数据错误与恢复

•