学习日报

代码量:700
搏客量:1
所学知识点:
一、今日工作内容
完成基于 Hive 的 WordCount 词频统计功能实现,核心流程包括数据准备、HDFS 文件上传、Hive 表创建、计算逻辑编写及结果验证。
定位并解决多个执行异常问题,包括 Hive 元数据服务未启动、MapReduce 任务资源依赖缺失、HDFS 输入目录缺失、结果显示配置优化等。
完成全流程调试验证,通过本地模式配置、结果文件写入等方式,最终获取到正确词频统计结果(wangziyan出现 2 次,hello、likes、hadoop各出现 1 次)。
二、问题与解决方案
问题类型 具体问题 解决方案
服务依赖 Hive 元数据服务未启动,无法创建表 手动启动 Metastore 服务(nohup hive --service metastore &)
资源依赖 MapReduce 任务因 YARN 未启动停滞 启动 Hadoop YARN 服务(start-yarn.sh),确保任务资源支持
数据问题 HDFS /input目录缺失,输入表无数据 重新上传本地输入文件到 HDFS(hdfs dfs -put input /)
显示异常 Hive 终端未显示统计结果 启用本地模式 + 结果写入本地文件(INSERT OVERWRITE LOCAL DIRECTORY),直接读取文件获取结果

posted @ 2025-10-27 22:58  棉花堂  阅读(3)  评论(0)    收藏  举报