第四次作业 2020.10.17

1.描述HDFS体系结构、工作原理与流程。

HDFS采用Master/Slave的架构存储数据,由HDFS Client、NameNode、DataNode和Secondary NameNode四部分组成。
Client:客户端
  1、文件切分。文件上传HDFS时,Client按照Block大小切分文件,然后进行存储
  2、与NameNode交互,获取文件位置信息
  3、与DataNode交互,读取或写入数据
  4、Client提供一些命令管理和访问HDFS
NameNode:Master(管理者)
  1、管理HDFS的名称空间
  2、管理数据块(Block)映射信息
  3、配置副本策略
  4、处理客户端读写请求
DataNode:Slave(NN下达命令执行实际的操作)
  1、存储实际的数据块
  2、执行数据块的读/写操作
Secondary NameNode:并非NameNode的热备,当NN停止服务时,它并不能马上替换NN并提供服务
  1、辅助NN,分担其工作量
  2、定期合并fsimage和fsedits,并推送给NN
  3、在紧急情况下,可辅助恢复NN
2.伪分布式安装Hadoop。

posted @ 2020-10-17 20:03  钟传泰  阅读(99)  评论(0)    收藏  举报