Hadoop使用实例作业六

1.词频统计

编写map与reduce函数，将文本数据上传至HDFS上并用hadoop streaming提交任务

 

pg,txt上传到HDFS

 

 

计算结果取回到本地，查看取回文件前10行的数据

 

 

HDFS上成功运行，生成part-00000文件

 

 2.气象数据分析-求每日最高温度

下载解压气象数据到qwdata.txt，编写map与reduce函数

 

 

本地测试map与reduce

 

 

将气象数据成功上传到HDFS

 

 

提交任务,HDFS上运行成功，生成part-00000文件

 

 

计算结果取回到本地，查看文件前10行数据

 

 

 参考博文https://blog.csdn.net/lger_Pro/article/details/80259424?utm_medium=distribute.pc_relevant.none-task-blog-title-2&spm=1001.2101.3001.4242