2021年7月12日
词频统计升级之Combiner操作
摘要： 1、WordCountCombinerLocalApp.java 添加： //添加Combiner的设置即可 job.setCombinerClass(WordCountReducer.class); 2、原理 在map中，将相同key值的结果进行一次操作。 逻辑上和reduce相同。 3、运行 阅读全文
posted @ 2021-07-12 16:58 酱汁怪兽 阅读(45) 评论(0) 推荐(0)
MapReduce之通过Debug的方式了解偏移量及重构代码
摘要： 1、在WordCountMapper.java中打断点 String[] words = value.toString().split("\t"); 2、在WordCountApp.java中，以Debug“WordCountApp.main()”方式运行程序 map(LongWritable ke 阅读全文
posted @ 2021-07-12 16:16 酱汁怪兽 阅读(262) 评论(0) 推荐(0)
MapReduce之词频统计本地运行
摘要： 1、上述的MapReduce之Mapper、Reducer、Driver三步实现，是基于输入和输出都是HDFS的 （1）输入：HADOOP_USER_NAME、（2）输出：hdfs://192.168.126.101:8020 //WordCountApp.java //设置权限 System.se 阅读全文
posted @ 2021-07-12 14:53 酱汁怪兽 阅读(222) 评论(0) 推荐(0)
MapReduce自定义Driver类实现（第三步）
摘要： 1、Driver类：配置Mapper和Reducer的相关属性通过WordCountApp.java将Mapper和Reducer关联起来使用MapReduce统计HDFS上的文件对应的词频提交到本地运行：开发过程中使用 2、WordCountApp.java package com.imooc.b 阅读全文
posted @ 2021-07-12 10:51 酱汁怪兽 阅读(214) 评论(0) 推荐(0)