第四次作业

1.用自己的图，描述HDFS体系结构、工作原理与流程。

 

体系结构

 

 

 

 

读数据

 

 

写数据

 

 

工作原理

1、客户端通过调用FileSystem对象的open（）来读取希望打开的文件。对于HDFS来说，这个对象是分布式文件系统的一个实例。
2、DistributedFileSystem通过RPC来调用namenode，以确定文件的开头部分的块位置。对于每一块，namenode返回具有该块副本的datanode地址。此外，这些datanode根据他们与client的距离来排序（根据网络集群的拓扑）。如果该client本身就是一个datanode，便从本地datanode中读取。DistributedFileSystem返回一个FSDataInputStream对象给client读取数据，FSDataInputStream转而包装了一个DFSInputStream对象。
3、接着client对这个输入流调用read（）。存储着文件开头部分的块的数据节点的地址DFSInputStream随即与这些块最近的datanode相连接。
4、通过在数据流中反复调用read（），数据会从datanode返回client。
5、到达块的末端时，DFSInputStream会关闭与datanode间的联系。

 

2.伪分布式安装Hadoop