2022年8月28日
MapReduce程序编写（举例：统计单词个数）
摘要： public class WordCount { //map读取数据的key类型定死是LongWritable,代表的是行号,从0开始,value是一行数据，Text static class MyMapper extends Mapper<LongWritable, Text, Text, Lon 阅读全文
posted @ 2022-08-28 18:50 ~小小~ 阅读(182) 评论(0) 推荐(0)
MapReduce数据倾斜问题解决方法
摘要： 问题分析： 单个reduce可能存在数据量过多导致数据倾斜 解决办法： 1、对数据的key加上随机前缀，让他们的hash值发生变化，分布一些到其他reduce里面去 2、适当增加reduce个数 阅读全文
posted @ 2022-08-28 10:59 ~小小~ 阅读(70) 评论(0) 推荐(0)