8.9每日总结
这周开始学习 Yarn 相关知识。首先学习了 Yarn 的重要概念,比如 ResourceManager、NodeManager、ApplicationMaster 等组件的作用,了解到 Yarn 是 Hadoop 中的资源管理系统,负责为应用程序分配计算资源。接着深入学习了 Yarn 的工作机制,包括应用程序的提交、资源的申请与分配、任务的执行与监控等流程。通过绘制流程图和模拟简单的应用程序提交过程,加深了对 Yarn 工作机制的理解。
学习过程中遇到的问题主要是在理解 Yarn 各组件之间的交互过程时,感觉比较抽象,难以形成清晰的脉络。另外,在尝试通过 Yarn 提交一个简单的 MapReduce 作业时,出现了资源分配失败的情况,经过检查发现是 Yarn 的配置参数设置不合理,调整参数后才成功提交作业。
下周计划继续学习 Yarn,熟悉 Yarn 的各种配置和管理操作,并且开始学习 MapReduce 程序,了解其核心思想和运行流程。
浙公网安备 33010602011771号