摘要：1、map task读取数据时默认调用TextInputFormat的成员RecoreReader，RecoreReader调用自己的read()方法，进行逐行读取，返回一个key、value; 2、返回的key、value交给自定义的map方法，输出的context.write(key,value 阅读全文

摘要：Mapreduce的运算过程为两个阶段： 第一个阶段的map task相互独立，完全并行； 第二个阶段的reduce task也是相互独立，但依赖于上一阶段所有map task并发实例的输出； 这些task任务分布在多台机器运行，它的运行管理是有一个master负责，这个master由yarn负责启 阅读全文

摘要：1、下载Hadoop的压缩包 tar.gz https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/ 在eclipse中新建项目中，建lib文件夹，把要用的jar包拷贝进来，jar包在解压好的 hadoop-2.9.1/sha 阅读全文

摘要：1、查看hdfs文件目录 hadoop fs -ls / 2、上传文件 hadoop fs -put 文件路径 目标路径 在浏览器查看:namenodeIP:50070 3、下载文件 hadoop fs -get 文件路径 保存路径 4、设置副本数量 -setrep 阅读全文

摘要：1、环境 操作系统：ubuntu16 jdk：1.8 hadoop：2.9.1 机器：3台，master：192.168.199.88，node1：192.168.199.89，node2：192.168.199.90 2、搭建步骤 2.1 修改主机名hostname，三台机器分别执行如下命令，依次 阅读全文