HDFS读写删流程概述

HDFS写流程

步骤

1.客户端通过RPC请求NameNode

2.NN接收到请求后会检查是否已存在相应文件以及客户端权限

3.当客户端接收到可以写入请求后，客户端会将文件切分为若干个packets（每个128M），并向NN申请新的Blocks

4.客户端收到NN返回合适的存储DataNode列表，与之建立管道

5.客户端以流的形式向DataNode写入数据

6.当最后一个DN写入完成，关闭流

 

1.1       HDFS读流程图

1.客户端发起请求

2.NN返回Block列表及对应DN地址

3.客户端请求建立输入流，采取就近读取DN数据

4.读取完数据后关闭流

 

 

 HDFS的删除流程

当NN上收到请求删除数据时，其会标记需要删除的数据块，而不会主动去请求删除。当DN向NN发送心跳时，NN会向DN发送指令，删除对应的数据。