Spark源码编译过程以及调试SparkPi遇到的问题

一.本文记录内容：使用Mac，对spark源码进行编译
二.前期准备：Java8、Scala2.12.11、Maven3.6.3安装配置完成；Spark3.0.0源码已下载
三.编译步骤：
1.修改源码中的./dev/make-distribution.sh 文件：
1）修改MVN="$MAVEN_HOME/bin/mvn"
2.修改spark源码的pom.xml文件，将Maven仓库改成阿里云仓库

central
Maven Repository
https://maven.aliyun.com/nexus/content/groups/public/

true


false


3.开始编译源码
1）cd spark-3.0.0
2)$ set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m
$ mvn -DskipTests clean package
四.将编译好的代码导入IDEA
五.在idea中运行SparkPi，运行过程中遇到的问题参考：https://www.cnblogs.com/moonlightml/p/9035058.html

本文参考文章：https://blog.csdn.net/lc_1123/article/details/78628989