Hadoop使用实例作业六

1.词频统计

编写map与reduce函数,将文本数据上传至HDFS上并用hadoop streaming提交任务

 

pg,txt上传到HDFS

 

 

计算结果取回到本地,查看取回文件前10行的数据

 

 

HDFS上成功运行,生成part-00000文件

 

 2.气象数据分析-求每日最高温度

下载解压气象数据到qwdata.txt,编写map与reduce函数

 

 

本地测试map与reduce

 

 

将气象数据成功上传到HDFS

 

 

提交任务,HDFS上运行成功,生成part-00000文件

 

 

计算结果取回到本地,查看文件前10行数据

 

 

 参考博文https://blog.csdn.net/lger_Pro/article/details/80259424?utm_medium=distribute.pc_relevant.none-task-blog-title-2&spm=1001.2101.3001.4242

 

posted @ 2020-11-12 21:04  小西西、  阅读(63)  评论(0编辑  收藏  举报