使用maven开发MR

1.安装mvn(可以省略,因为eclipse自带maven插件)
  1.1. 上传安装包到linux
  1.2. 解压maven安装包

mkdir /usr/maven
tar -zxvf apache-maven-3.2.1-bin.tar.gz -C /usr/maven

  1.3添加maven到环境变量

vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_55
export MAVEN_HOME=/usr/maven/apache-maven-3.2.1
export HADOOP_HOME=/cloud/hadoop-2.4.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$MAVEN_HOME/bin

2.将m2.tar.gz解压到当前用户的家目录下

tar -zxvf m2.tar.gz -C ~/ 

3.在Eclipse下新建maven project
  3.1安装Linux版本JavaEE的eclipse,包括如何快捷方式(create launcher)及更换快捷方式图标

  3.2打开eclipse,new---project---Maven---Mavern project:next---勾选create a simple project
    填写Group Id:【cn.ncst.mr】,Artifact Id:【datacount】,点击finish完成操作

  3.3由于Linux不能联网下载依赖的Maven包,所以报错。解决问题方式:
    导入已下载好的依赖包m2.tar,解压到root用户的家目录cd ~; tar -zxvf m2.tar(解压后是隐藏文件)
    然后在eclipse的maven项目datacount上右键Maven---Update project---OK即可解决问题。
注意:Linux机并没有安装Maven程序,只是eclipse程序自带Maven插件而已。

  3.4如果新建项目报错,在当前项目的pom.xml中添加如下内容,刷新即可(需要有网络)

<dependencies> 
<dependency>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-resources-plugin</artifactId>
<version>2.4.3</version>
</dependency>
</dependencies>

4.编写hadoop程序
  4.1.HDFS程序需要(在pom.xml文件中)引入依赖:

<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.8.2</version>
<scope>test</scope>
</dependency>

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.4.1</version>
</dependency>

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.4.1</version>
</dependency>
</dependencies>

  4.2.MR程序需要(在pom.xml文件中)引入依赖:

<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.8.2</version>
<scope>test</scope>
</dependency>

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.4.1</version>
</dependency>

<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>2.4.1</version>
</dependency>
</dependencies>
posted @ 2015-10-04 17:24  skyl夜  阅读(...)  评论(...编辑  收藏