windows 下python spark配置（终极配置）

1.下载spark ,下载地址http://spark.apache.org/downloads.html

2.解压后改下文件名字,有空格会报错，不要把spark目录放在有空格或中文的目录下，尤其是Program Files下，最好单独放，如下：

 

3.配置环境变量，可以配置在用户变量下，如下

 

点击开path:添加%SPARK_HOME%\bin;%SPARK_HOME%\sbin;

 

 4.在D:\spark\python\lib目录下，把py4j-0.10.7-src.zip和pyspark.zip解压出来，把两个文件拷贝到pythin的路径下，路径位置:C:\Python35\Lib\site-packages（注意如果python中已经

安装了py4j和pyspark，就不需要这步）

5.打开cmd，运行pyspark,如果报错：此时不应有 \Java\jdk1.8.0_144\bin\java，那么java的路径问题，因为java路径存在空格，需要从新配置java环境变量，如下

 

 

 

 6.添加%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin

7.最好重新启动下计算机

 

spark的配置关键，首先版本要对应，其次java和spark不要放在特殊目录下，有空格的目录都不行