8.2每周总结

这周的学习重点是 HDFS 分布式文件系统。首先学习了 HDFS 的概念、组成以及块大小的设置，了解到 HDFS 将文件分成固定大小的块进行存储，这有助于提高数据的可靠性和读写效率。接着深入学习了 NameNode 的作用，它负责管理文件系统的命名空间，维护着文件系统树以及整棵树内所有的文件和目录的元数据，还学习了镜像文件（FsImage）和编辑日志文件（EditLog），理解了它们在元数据持久化和更新中的作用。然后学习了 DataNode，它是实际存储数据的节点，负责处理客户端的读写请求。还学习了 SecondaryNameNode，了解到它主要用于辅助 NameNode 进行元数据的合并，以减少 NameNode 的负担。此外，还学习了集群安全模式操作以及 HDFS - HA 工作机制和自动故障转移原理，认识到 HDFS - HA 对于保证 Hadoop 集群高可用性的重要性。
遇到的问题主要是在理解 HDFS 的元数据管理机制时，对于 FsImage 和 EditLog 的交互过程以及 SecondaryNameNode 的工作原理理解得不够透彻，需要通过更多的资料和实际操作来加深认识。另外，在模拟 HDFS - HA 自动故障转移的实验中，由于配置较为复杂，出现了一些错误，需要仔细排查和解决。
下周计划继续学习 HDFS 相关内容，巩固对 HDFS 原理的理解，并且开始学习 Yarn 的相关知识，了解 Yarn 的重要概念和工作机制。