windows编译hadoop 2.x Hadoop-eclipse-plugin插件

本文转载至:http://blog.csdn.net/congcong68/article/details/42098391

一.简介

  Hadoop2.x之后没有Eclipse插件工具,我们就不能在Eclipse上调试代码,我们要把写好的Java代码的MapReduce打包成jar然后在Linux上运行,所以这种不方便我们调试代码,所以我们自己编译一个Eclipse插件,方便我们在我们本地上调试,经过hadoop1.x的发展,编译hadoop2.x版本的eclipse插件比之前简单多了。接下来我 们开始编译Hadoop-eclipse-plugin插件,并在Eclipse开发Hadoop。

 

二.软件安装并配置

 

 

 

 1.JDK配置

    1) 安装jdk

    2) 配置环境变量

      JAVA_HOME、CLASSPATH、PATH等设置,这里就不多介绍,网上很多资料

 2.Eclipse

   1).下载eclipse-jee-juno-SR2.rar

   2).解压到本地磁盘,如图所示:

     

 

3.Ant

 

 

  1)下载

   http://ant.apache.org/bindownload.cgi

   apache-ant-1.9.4-bin.zip

 2)解压到一个盘,如图所示:

   

 3).环境变量的配置

    新建ANT_HOME=E:\ant\apache-ant-1.9.4-bin\apache-ant-1.9.4

    在PATH后面加;%ANT_HOME%\bin

 4)cmd 测试一下是否配置正确

    ant version   如图所示:

 

 

4.Hadoop

 

 1).下载hadoop包

    hadoop-2.6.0.tar.gz

   解压到本地磁盘,如图所示:

 

 

下载hadoop2x-eclipse-plugin源代码

 1)目前hadoop2的eclipse-plugins源代码由github脱管,下载地址是https://github.com/winghc/hadoop2x-eclipse-plugin,然后在右侧的Download ZIP连接点击下载,如图所示:

    

 

2)下载hadoop2x-eclipse-plugin-master.zip

   解压到本地磁盘,如图所示:

    

 

三.编译hadoop-eclipse-plugin插件

 

 

   

 1.hadoop2x-eclipse-plugin-master解压在E:盘打开命令行cmd,切换到E:\hadoop\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin 目录,如图所示:

 

     

 

2.执行ant jar

ant jar -Dversion=2.6.0 -Declipse.home=D:\eclipse -Dhadoop.home=D:\hadoop-2.6.0,如图所示:

 

 3.编译成功生成的hadoop-eclipse-plugin-2.6.0.jar在E:\hadoop\hadoop2x-eclipse-plugin-master\build\contrib\eclipse-plugin路径下,如图所示:

   

关于编译途中出错的解决方案

命令行在ivy-resolve-common处卡了

原因是找不到几个依赖包,那几个依赖包可能是换路径了,其实不需要这几个依赖包也可以

解决方案:

修改"H2EP_HOME"\src\contrib\eclipse-plugin\build.xml

找到:

<target name="compile" depends="init, ivy-retrieve-common" unless="skip.contrib">

去掉depends修改为

<target name="compile" unless="skip.contrib">

8.再次执行第6步的编译命令,会提示copy不到相关jar包的错误,

解决方案:

修改"H2EP_HOME"\ivy\libraries.properties文件,

将报错的jar包版本号跟换成与"HADOOP_HOME"\share\hadoop\common\lib下面jar对应的版本号

此步可能会有多个jar包版本不匹配,需要多次修改

 

关于eclipse如何搭建hadoop开发环境请看我的另一篇博客

  http://www.cnblogs.com/duking1991/p/6056923.html

 

posted @ 2016-11-13 20:34  OnTheWay_duking  阅读(526)  评论(0编辑  收藏  举报