08 2025 档案

摘要：这周继续学习 MapReduce 程序，主要是针对一些更复杂的场景进行实践。首先，我尝试对天气案例进行了扩展，不仅统计天气数据中的温度极值，还计算了平均温度等指标。在编写这个扩展程序时，需要在 Mapper 和 Reducer 类中处理更多的数据逻辑，比如在 Mapper 中提取更多的天气字段，在 阅读全文

摘要：这周主要学习 MapReduce 程序相关内容。首先学习了 MapReduce 的核心思想，即 “分而治之”，将大规模的数据处理任务分解成多个小任务，由多个节点并行处理，最后再将结果合并。接着学习了 Shuffle 机制，了解到 Shuffle 是 MapReduce 中连接 Map 和 Reduc 阅读全文

摘要：这周开始学习 Yarn 相关知识。首先学习了 Yarn 的重要概念，比如 ResourceManager、NodeManager、ApplicationMaster 等组件的作用，了解到 Yarn 是 Hadoop 中的资源管理系统，负责为应用程序分配计算资源。接着深入学习了 Yarn 的工作机制， 阅读全文

摘要：这周的学习重点是 HDFS 分布式文件系统。首先学习了 HDFS 的概念、组成以及块大小的设置，了解到 HDFS 将文件分成固定大小的块进行存储，这有助于提高数据的可靠性和读写效率。接着深入学习了 NameNode 的作用，它负责管理文件系统的命名空间，维护着文件系统树以及整棵树内所有的文件和目录的 阅读全文