spark-3-macOS配置hadoop+spark+IDE

【教程1】https://blog.csdn.net/shiyutianming/article/details/99946797  + 【教程2】http://dblab.xmu.edu.cn/blog/1689-2/ 

 两个对照着理解一下就行了,apache-spark可以不用homebrew安装,按教程1中步骤直接下载安装即可。

 

【补充】如果想要默认使用 anaconda 的环境启动 pyspark:

在~/spark-3.0.0-bin-hadoop3.2/conf/spark-env.sh 中增加 export PYSPARK_PYTHON=/Users/chaojunwang/anaconda2/envs/python36/bin/python(举例),指定python源即可,之后只要用conda切换环境,即可在 jupyter notebook 等IDE中使用pyspark。

posted @ 2020-07-10 22:02  王朝君BITer  阅读(249)  评论(0编辑  收藏  举报