spark源码编译,本地调试

1、下载源码

2、进入源码根据README.md编译源码,注意使用的是源码目录下的maven编译

3、用idea导入顶层pom文件

4、修改顶层pom文件和example下的pom文件,将scope的值全部从provided替换成compile

5、运行任意example,由于是本地运行,需要添加

.master("local[4]")来配置SparkSession。

posted on 2017-10-21 15:47  层林尽染  阅读(274)  评论(0)    收藏  举报

导航