Spark的编译安装

已安装jdk1.8+、maven3.3.9+

增加maven配置

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

1、下载源码包：spark-2.3.2.tgz

2、解压

tar -zxf spark-2.3.2.tgz

3、编译

./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0

4、获取生成的tgz并解压

坑一：
编译时，本机的Maven不要用aliyun的仓库
在spark的Pom.xml文件中增加chd的包

<repository>
    <id>cloudera</id>
    <name>cloudera Repository</name>
    <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
</repository>