编译hadoop,spark遇到的问题总结

编译hadoop2.6.4 

1、JDK8版本过高，换成JDK7；

2、换成命令行mvn package -Pdist,native -DskipTests-Dtar-Dmaven.javadoc.skip=true

注意：检查命令中-符号，而不是中文—，-Dmaven.javadoc.skip=true编译时略过创建javadoc

（有可能遇到多次无法解决依赖报错，可先强制更新Maven所有依赖，执行命令：mvn clean install -U，再执行上述命令行）

 

我当时是使用mvn package -Pdist,native -DskipTests-Dtar-Dmaven.javadoc.skip=true命令,依然用的是jdk1.8 最后编译成功,如果maven部分依赖下载不下来可以换个网络试试

Hadoop Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar

编译spark 1.6.1 

输入命令进行编译

./make-distribution.sh --tgz -Phadoop-2.4 -Pyarn -DskipTests -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -Pspark-ganglia-lgpl

没想到才开始就报了个错

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:1.4:enforce (enforce-versions) on project spark-parent_2.10: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed. -> [Help 1]

看了一些warn提示，感觉可能是mvn版本不一致的问题。
原因是 POM对maven版本进行了强制要求

进入pom.xml文件发现maven版本为3.3.3,我的编译环境maven版本为3.3.1，遂改之(或者你也可以把maven版本升级)，效果如下:

http://blog.csdn.net/lsshlsw/article/details/48371651