第四周

HDFS 的设计原理围绕海量数据存储的可靠性、高效性和可扩展性展开，其中分块存储和副本机制是核心特性。HDFS 默认将文件分割为 128MB 的数据块进行存储（可通过dfs.blocksize参数调整），这一设计既避免了小文件占用过多元数据空间，又能减少磁盘寻道时间，提升数据读写效率。与传统 RAID（独立磁盘冗余阵列）相比，HDFS 副本机制更注重分布式环境下的数据可靠性，RAID 通过磁盘级别的冗余实现数据容错，而 HDFS 通过在不同 DataNode 节点存储多个数据块副本（默认 3 个），即使部分节点故障，仍可从其他节点获取数据，且副本数量可根据业务需求灵活配置，平衡可靠性与存储成本。
HDFS 写入流程采用 Pipeline（管道）模型，确保数据高效且可靠地写入。当客户端向 HDFS 写入文件时，首先与 NameNode 通信获取数据块存储的 DataNode 节点列表，随后客户端将数据分成数据包，按顺序发送给第一个 DataNode 节点，第一个节点接收数据包后，一边向客户端发送确认信息，一边将数据包转发给第二个 DataNode 节点，第二个节点再转发给第三个节点，形成数据传输管道。这种流水线式的传输方式，避免了客户端与每个 DataNode 单独通信的延迟，大幅提升了数据写入速度，同时每个节点在接收数据后会进行校验，确保数据完整性，若某个节点传输失败，客户端会重新建立传输管道，保证数据顺利写入。
为避免 NameNode 单点故障导致整个 HDFS 集群不可用，需配置 HA（高可用）机制，通常借助 ZooKeeper 实现 NameNode 故障自动转移。首先需部署两个 NameNode 节点（Active 和 Standby），Active 节点负责处理客户端请求，Standby 节点实时同步 Active 节点的元数据（通过 JournalNode 集群实现元数据共享），保持与 Active 节点状态一致。ZooKeeper 通过心跳机制实时监控 Active 节点状态，当 Active 节点故障时，ZooKeeper 会检测到心跳丢失，随后触发故障转移流程，将 Standby 节点切换为 Active 节点，同时更新集群中 DataNode 和客户端的 NameNode 地址配置，确保集群服务不中断。关键配置参数dfs.ha.automatic-failover.enabled需设置为true，开启自动故障转移功能，此外还需配置dfs.nameservices指定集群服务名、dfs.ha.namenodes.[nameserviceID]列出两个 NameNode 节点地址等参数。
HDFS 性能调优是保障集群高效运行的重要手段，数据平衡工具 balancer 可解决数据在 DataNode 节点分布不均的问题。当部分 DataNode 节点存储数据过多，而其他节点存储较少时，会导致集群负载不均衡，影响读写性能，此时执行hdfs balancer命令启动数据平衡服务，balancer 会根据设定的阈值（默认 10%），将数据从存储密集的节点迁移到存储空闲的节点，直至各节点数据存储比例差异小于阈值。跨机架感知配置则可提升数据可靠性与读取效率，在大型集群中，DataNode 节点分布在不同机架，通过配置dfs.network.topology.script.file.name指定机架感知脚本，让 NameNode 了解节点的机架位置，在分配数据副本时，会将副本存储在不同机架的节点上，避免单一机架故障导致数据丢失，同时客户端读取数据时，优先从本地机架或邻近机架的节点获取数据，减少跨机架数据传输，降低网络开销。