第四次作业

一、描述HDFS体系结构、工作原理与流程。

HDFS的体系结构图

 

 

 

HDFS读数据的过程：

 

• 客户端会发起请求
• DF向NN生成一个文件路径。NN会返回这个文件第一个Blocks所在的DN列表信息
• 客户端根据返回的DN列表，回选取离它最近的节点，创建Socket连接
• 接着第一个节点与第二个节点、第二个节点与第三个节点，会顺序构建Socket连接，形成一个数据管道，然后客户端会向第一个节点发起数据传输，当第一个节点收到数据传输后，会顺序向第二个节点发送数据，第二个会向第三个节点发送，在第三个数据收到后，会把数据的Ack信息发回到第二个节点。第二个再发送给第一个节点
• 第一个节点收到Ack信息后，会把Ack信息传给客户端。客户端在确认Ack后，才认为数据传输成功，开始下一个数据的传输。循环往复完成整个Block的写操作。在第一个Block写操作完成之后，如果这个文件还有数据要传输，客户端会申请新的Block，客户端会重新创建一个新的DN数据管道，来进行数据传输。

 

 

 

二、伪分布式安装Hadoop。

1.创建hadoop用户

 

 

2.Hadoop伪分布安装完成