摘要：
1、MapReduce编程模型执行步骤 （1）准备map处理的输入数据 （2）Mapper处理 （3）Shuffle （4）Reduce处理 （5）结果输出 2、图解（同一个作业在不同机制上运行） （1）NameNode执行文件系统名称空间操作，如打开、关闭和重命名文件和目录。它还确定块到数据节点的 阅读全文
posted @ 2021-07-08 14:39
酱汁怪兽
阅读(217)
评论(0)
推荐(0)
摘要：
1、SaveMode模式 当启动hdfs的30秒内，会进入SaveMode模式。 进入Namenode information界面时，是看不到Summary里的具体信息的。 2、在启动时，NameNode进入一个称为Safemode的特殊状态。当NameNode处于Safemode状态时，不会复制数 阅读全文
posted @ 2021-07-07 16:27
酱汁怪兽
阅读(340)
评论(0)
推荐(0)
摘要：
1、HDFS元数据管理（在命令行中的操作） 2、HDFS元数据在命令行中的存储表现形式 3、一旦机器故障重启，HDFS数据的恢复原理 阅读全文
posted @ 2021-07-07 16:03
酱汁怪兽
阅读(150)
评论(0)
推荐(0)
摘要：
1、3个副本机制 （1）2个副本放在本地机架上的不同节点，1个副本放在另外机架上的节点。 （2）1个副本放在本机机架上的节点，2个副本放在另外一个机架上的不同节点。 2、客户端写数据到HDFS的流程 3、客户端从HDFS读取数据的流程 阅读全文
posted @ 2021-07-07 13:57
酱汁怪兽
阅读(117)
评论(0)
推荐(0)
摘要：
1、CaseIgnoreWordCountMapper.java 文件中的大小写默认是有区分。所以大小写分别记作一个单词。 此处将所有大写转变为小写：复制 WordCountMapper.java 为 CaseIgnoreWordCountMapper.java 将： String[] words 阅读全文
posted @ 2021-07-07 09:41
酱汁怪兽
阅读(42)
评论(0)
推荐(0)
摘要：
1、在HDFSWordCountApp01.java中，不建议采取以下方式新建mapper对象 ImoocMapper mapper = new WordCountMapper(); 2、WordCount.properties 在WordCount.properties中，添加WordCountM 阅读全文
posted @ 2021-07-07 09:03
酱汁怪兽
阅读(89)
评论(0)
推荐(0)
摘要：
1、配置涉及的路径：WordCount.properties 在main中创建目录resources。这是Maven工程标准的。 右击resources，选择Mark Directory as，选择Resources Root 右击resources，创建一个file：WordCount.prope 阅读全文
posted @ 2021-07-06 16:17
酱汁怪兽
阅读(105)
评论(0)
推荐(0)
摘要：
1、class：HDFSWordCountApp01.java package com.imooc.bigdata.hadoop.hdfs; /* * 使用HDFS API完成WordCount统计 * * 需求：统计HDFS上的文件的词频统计，然后将统计结果输出到HDFS * * 功能拆解： * 阅读全文
posted @ 2021-07-06 14:13
酱汁怪兽
阅读(192)
评论(0)
推荐(0)
摘要：
1、新建interface： ImoocMapper.java package com.imooc.bigdata.hadoop.hdfs; /* *自定义Mapper */ public interface ImoocMapper { /* * 先放一个接口 * line 读取到的每一行数据 * 阅读全文
posted @ 2021-07-06 10:57
酱汁怪兽
阅读(42)
评论(0)
推荐(0)
摘要：
1、创建一个class：ImoocContext 2、在原本的class修改：HDFSWordCountApp01 //TODO... 3) 将结果缓存起来 Map ImoocContext context = new ImoocContext();//新new一个 Map<Object, Obje 阅读全文
posted @ 2021-07-06 09:48
酱汁怪兽
阅读(49)
评论(0)
推荐(0)
浙公网安备 33010602011771号