MapReduce编程实验（JavaAPI操作）

1 保证伪分布式集群启动正常

 

 

 

2 把CentOS上的hadoop目录下载到Windows上（可使用WinSCP）

3 在/hadoop/bin目录下放入winuitls插件

 

 

 4 配置环境变量（HADOOP_HOME 以及 path）

 

 

 

 

 

 5 idea中创建Maven项目，导入依赖的jar包

 创建：new>project>maven>项目名字>next>finish

 

 

 导入jar：

 

 

  maven依赖：

进入https://mvnrepository.com/，找对应版本的Hadoop Commom，Hadoop HDFS，Hadoop client，slf4j，Hadoop MapReduce Core 我的是2.7.1

 

 

 

 将依赖复制入pom.xml文件

<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common -->
<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.1</version>
    </dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs -->
<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.1</version>
        <scope>test</scope>
    </dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>2.7.1</version>
    </dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-mapreduce-client-core -->
<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.7.1</version>
    </dependency>
<!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-log4j12 -->
<dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.30</version>
        <scope>test</scope>
    </dependency>

</dependencies>

5 开发java类：创建hdfs操作类、创建WordCount类

 

WordCount过程：

读文件（输入：文件；输出：<行偏移，行数据>）

Map（输入：<行偏移，行数据> ；输出：<单词，1>）

Reduce（输入：<单词，1>；输出：<单词，sum>）