假期周进度报告 2
本周投入15小时专注 Hadoop生态基础学习,理论学习 15 小时,通过书籍和课程掌握 HDFS、MapReduce、YARN 的原理与架构;完成 Hadoop 伪分布式环境搭建及基础操作,实现 WordCount 程序,处理环境配置和程序运行中的报错。环境搭建上,在单机模式熟悉命令再搭建伪分布式环境,成功配置核心文件并验证进程启动,运行 Hadoop 自带 WordCount 示例加深对 MapReduce 的理解。
下周学习计划
下周计划深化学习:深入研究 HDFS 读写流程与 API 编程并进阶 MapReduce,学习 Shuffle 过程与 Combiner 组件,编写数据去重程序,还要探索 YARN 架构与作业提交流程,分析 Hadoop 实际应用案例,梳理数据处理流程。
本周遇到的问题及反思
本周遇到 SSH 免密登录配置失败、Hadoop 进程启动异常、MapReduce 程序运行报错等问题。SSH 问题因公钥未正确添加及权限设置不当,通过重新生成密钥对、正确执行命令和设置权限解决;DataNode 进程无法启动是因多次格式化导致 clusterID 不一致,删除存储目录重新格式化后解决;“ClassNotFoundException” 则通过规范程序打包与提交命令修复。
这些经历让我意识到环境配置细节、操作谨慎性及程序规范打包提交的重要性。后续学习将强化理论与实践结合,多查阅资料提升问题解决能力。
 
                    
                
 
                
            
         浙公网安备 33010602011771号
浙公网安备 33010602011771号