2019年11月17日
摘要: MapReduce实验——排序 要求我们编写mapreduce程序来对商品点击次数有低到高进行排序 去重操作和排序操作的区别: 是否for循环遍历value值(详见Reducer函数处) /** * MapReduce实验——排序 * 要求我们编写mapreduce程序来对商品点击次数有低到高进行排 阅读全文
posted @ 2019-11-17 21:54 金猫大帝 阅读(487) 评论(0) 推荐(0) 编辑
摘要: MapReduce实验——求平均值 要求使用mapreduce统计出每类商品的平均点击次数 重点:输入文件的格式! 遇到的问题: 运行过程中报出java.lang.ArrayIndexOutOfBoundsException(数组越界)的错误 原因: 一行数据中间的空格格式不正确 /** * Map 阅读全文
posted @ 2019-11-17 21:53 金猫大帝 阅读(806) 评论(0) 推荐(0) 编辑
摘要: MapReduce实验——去重 根据商品id进行去重,统计用户收藏商品中都有哪些商品被收藏 遇到的问题: 程序运行到mapper的context.write()时就死掉,job.waitForCompletion(true)返回false 原因及解决: linux虚拟机hadoop启动时没有sudo 阅读全文
posted @ 2019-11-17 21:49 金猫大帝 阅读(391) 评论(0) 推荐(0) 编辑