小野alone - 博客园

摘要：这周首先对整个暑期学习的大数据技术内容进行了全面的总结，回顾了从 Linux Shell 脚本开始，到 Hadoop 的 HDFS、Yarn，再到 MapReduce 程序的每一个知识点，梳理了知识体系，明确了各个技术之间的关联和应用场景。然后，我对之前做过的实验和编写的程序进行了整理和归档，将重要阅读全文

posted @ 2025-09-06 06:57 小野alone 阅读(6) 评论(0) 推荐(0)

8.30每周总结

摘要：这周主要是对之前学习的大数据技术内容进行全面的回顾和梳理，包括 Linux Shell 脚本、Hadoop（HDFS、Yarn）、MapReduce 等。首先，我绘制了大数据技术生态体系的思维导图，将各个技术组件的关系和作用清晰地呈现出来，加深了对整体架构的理解。然后，针对每个技术点，整理了重要的概阅读全文

posted @ 2025-09-01 19:31 小野alone 阅读(5) 评论(0) 推荐(0)

2025年8月

8.23每日总结

摘要：这周继续学习 MapReduce 程序，主要是针对一些更复杂的场景进行实践。首先，我尝试对天气案例进行了扩展，不仅统计天气数据中的温度极值，还计算了平均温度等指标。在编写这个扩展程序时，需要在 Mapper 和 Reducer 类中处理更多的数据逻辑，比如在 Mapper 中提取更多的天气字段，在阅读全文

posted @ 2025-08-24 11:20 小野alone 阅读(7) 评论(0) 推荐(0)

8.16每周总结

摘要：这周主要学习 MapReduce 程序相关内容。首先学习了 MapReduce 的核心思想，即 “分而治之”，将大规模的数据处理任务分解成多个小任务，由多个节点并行处理，最后再将结果合并。接着学习了 Shuffle 机制，了解到 Shuffle 是 MapReduce 中连接 Map 和 Reduc 阅读全文

posted @ 2025-08-16 12:50 小野alone 阅读(8) 评论(0) 推荐(0)

8.9每日总结

摘要：这周开始学习 Yarn 相关知识。首先学习了 Yarn 的重要概念，比如 ResourceManager、NodeManager、ApplicationMaster 等组件的作用，了解到 Yarn 是 Hadoop 中的资源管理系统，负责为应用程序分配计算资源。接着深入学习了 Yarn 的工作机制，阅读全文

posted @ 2025-08-10 15:36 小野alone 阅读(7) 评论(0) 推荐(0)

公告