hadoop HDFS文件系统角色及文件读写流程

hadoop集群—HDFS文件系统  角色及其特点

• 角色==进程

–  namenode

• 数据元数据
• 内存存储，不会有磁盘交换
• 持久化（fsimage，eidts log）

–  不会持久化block的位置信息

• block：偏移量，因为block不可以调整大小，hdfs，不支持修改文件

–  偏移量不会改变

–  datanode

• block块
• 磁盘
• 面向文件，大小一样，不能调整
• 副本数，调整，（备份，高可用，容错/可以调整很多个，为了计算向数据移动）

–  SN

–  NN&DN

• 心跳机制
• DN向NN汇报block信息
• 安全模式

HDFS文件写入流程

 

 

HDFS文件读取流程