学习日报
代码量:700
搏客量:1
所学知识点:
一、今日工作内容
完成基于 Hive 的 WordCount 词频统计功能实现,核心流程包括数据准备、HDFS 文件上传、Hive 表创建、计算逻辑编写及结果验证。
定位并解决多个执行异常问题,包括 Hive 元数据服务未启动、MapReduce 任务资源依赖缺失、HDFS 输入目录缺失、结果显示配置优化等。
完成全流程调试验证,通过本地模式配置、结果文件写入等方式,最终获取到正确词频统计结果(wangziyan出现 2 次,hello、likes、hadoop各出现 1 次)。
二、问题与解决方案
问题类型	具体问题	解决方案
服务依赖	Hive 元数据服务未启动,无法创建表	手动启动 Metastore 服务(nohup hive --service metastore &)
资源依赖	MapReduce 任务因 YARN 未启动停滞	启动 Hadoop YARN 服务(start-yarn.sh),确保任务资源支持
数据问题	HDFS /input目录缺失,输入表无数据	重新上传本地输入文件到 HDFS(hdfs dfs -put input /)
显示异常	Hive 终端未显示统计结果	启用本地模式 + 结果写入本地文件(INSERT OVERWRITE LOCAL DIRECTORY),直接读取文件获取结果
                    
                
                
            
        
浙公网安备 33010602011771号