2021年7月6日
HDFS使用自定义配置文件重构代码
摘要： 1、配置涉及的路径：WordCount.properties 在main中创建目录resources。这是Maven工程标准的。 右击resources，选择Mark Directory as，选择Resources Root 右击resources，创建一个file：WordCount.prope 阅读全文
posted @ 2021-07-06 16:17 酱汁怪兽 阅读(110) 评论(0) 推荐(0)
HDFS词频统计功能实现
摘要： 1、class：HDFSWordCountApp01.java package com.imooc.bigdata.hadoop.hdfs; /* * 使用HDFS API完成WordCount统计 * * 需求：统计HDFS上的文件的词频统计，然后将统计结果输出到HDFS * * 功能拆解： * 阅读全文
posted @ 2021-07-06 14:13 酱汁怪兽 阅读(200) 评论(0) 推荐(0)
HDFS自定义处理类实现
摘要： 1、新建interface： ImoocMapper.java package com.imooc.bigdata.hadoop.hdfs; /* *自定义Mapper */ public interface ImoocMapper { /* * 先放一个接口 * line 读取到的每一行数据 * 阅读全文
posted @ 2021-07-06 10:57 酱汁怪兽 阅读(45) 评论(0) 推荐(0)
HDFS自定义上下文（缓存）
摘要： 1、创建一个class：ImoocContext 2、在原本的class修改：HDFSWordCountApp01 //TODO... 3) 将结果缓存起来 Map ImoocContext context = new ImoocContext();//新new一个 Map<Object, Obje 阅读全文
posted @ 2021-07-06 09:48 酱汁怪兽 阅读(51) 评论(0) 推荐(0)