4
一、本周完成内容与时间分配
本周学习内容:吃透 HDFS-HA 高可用工作机制,完成 HA 集群部署测试;系统学习 YARN 框架,梳理 ResourceManager、NodeManager、Container 等核心概念,弄懂 YARN 作业调度完整流程。
学习总时长:30 小时
代码实操时长:13 小时(HA 集群故障模拟脚本、YARN 任务提交测试)
问题排查耗时:10 小时(HA 故障切换失效、YARN 容器资源分配报错)
二、下周计划
开启 MapReduce 编程学习,掌握 Map、Reduce 核心思想与 Shuffle 机制;
完成入门案例 WordCount 单词统计程序编写与集群运行;
初步接触 Python 基础语法,为后期热词分析大作业铺垫。
三、本周遇到的问题
HDFS-HA 自动故障转移时 Zookeeper 协调异常,主备 NameNode 切换失效;
YARN 提交测试任务时内存配置参数不合理,容器启动直接被 kill;
难以区分 YARN 与 MapReduce 的职责边界,对资源调度和数据计算分层理解模糊。

浙公网安备 33010602011771号