Mapreduce实例——求平均值

实验目的

1.准确理解Mapreduce求平均值的设计原理

2.熟练掌握Mapreduce求平均值程序的编写

3.学会编写Mapreduce求平均值程序代码解决问题

实验原理

求平均数是MapReduce比较常见的算法,求平均数的算法也比较简单,一种思路是Map端读取数据,在数据输入到Reduce之前先经过shuffle,将map函数输出的key值相同的所有的value值形成一个集合value-list,然后将输入到Reduce端,Reduce端汇总并且统计记录数,然后作商即可。具体原理如下图所示:

 

 

启动hadoop

 

 

 

生成文件

 

 

 

创建项目、写入代码

 

 

 

运行

 

 

 

结果:

 

 

posted @ 2021-12-06 23:28  学习中_1  阅读(142)  评论(0编辑  收藏  举报