Spark2.0编译

Spark2.0编译

1 前言

Spark2.0正式版于今天正式发布，本文基于CDH5.0.2的Spark编译。

2 编译步骤

2.1 下载源码

wget https://github.com/apache/spark/archive/v2.0.0.tar.gz
#2.2 解压配置
基于CDH5.0.2配置pom文件，添加

cdh5.0.2

<hadoop.version>2.3.0-cdh5.0.2</hadoop.version>
<hbase.version>0.96.1.1-cdh5.0.2</hbase.version>
<zookeeper.version>3.4.5-cdh5.0.2</zookeeper.version>


编译：
build/mvn -Pyarn -Pcdh5.0.2 -Phive -Phive-thriftserver -Pnative -DskipTests package
报错1：
上述命令，由于国外maven.twttr.com被墙，添加hosts，199.16.156.89 maven.twttr.com,再次执行
报错2：找不到2.3.0-cdh5.0.2,查找pom文件，有关cloudrea源被移除，添加上：

cloudera-repo
Cloudera Repository
https://repository.cloudera.com/artifactory/cloudera-repos

true


false


报错3：超时报错，重新执行
#2.3 成功如下：