HDFS学习笔记

1.HDFS的设计目标

• 故障的检测和自动快速恢复
• 数据访问的高吞吐量
• 支持大文件
• 一次写入多次查看
• 移动计算的代价比移动数据代价小
• 可移植性

2.基本原理

• NameNode仅存储元数据：文件系统所有文件的目录树，并跟踪集群中的文件
• NameNode不持久化各个块位置的所在的DataNode信息，DataNode启动时汇报给NameNode。
• DataNode默认三秒向NameNode发送心跳，如果长时间没有接受到心跳就认为DataNode失效，NameNode安排其他DataNode对此副本进行备份。
• Block的汇报时间默认是6小时

3.HDFS读写数据