win10 Intellij idea开发Hadoop MapReduce程序单机测试

测试《Hadoop权威指南》第二章的天气例子
环境;win10,JDK1.8,Intellij idea,hadoop2.7.2

1.下载Hadoop包

2.打开IDEA新建Java项目

 

 

 

 

 

3.项目配置 File —- Project Structure
（1）首先注意SDK的正确配置，使用JDK1.8

 

 

 

（2）加入hadoop的jar依赖包

 

 

 

 

 

（3）打包配置

 

 

 

 

 

 

 

4.编写map-reduce代码

 

 

（1）Mapper
负责预处理文件，准备数据

 

 

 

(2)reducer
处理数据

 

 

 

(3) main()

 

 

 

5.配置编译器

 

 

 

 

 

注意：第三个框里只需添入输入路径和输出路径即可

6、将数据导入到你的程序中

 

 

注意：不要创建output目录，系统会自动创建。否则会报目录已存在的错。

simple.txt

 

 

7.运行
出错：

 

 

缺少hadoop.dll和winutils.exe

hadoop.2.7.2的hadoop.dll和winutils.exe下载后，粘贴在hadoop-2.7.2/bin目录下

运行成功：
output目录下有输出的结果文件
output\part-r-00000.txt