windows下大数据开发环境搭建(4)——Spark环境搭建

一、所需环境

· Java 8

· Python 2.6+

· Scala

· Hadoop 2.7+

 

二、Spark下载与解压

http://spark.apache.org/downloads.html

按照以下截图提示,点击下载Spark的tgz压缩包。

 

下载完成后将Spark用7zip工具解压,放到一个不带空格的根目录下,我将起放在C盘的spark文件夹下:C:\spark\spark-2.4.4-bin-hadoop2.7

 

三、环境变量配置

SCALA_HOME: C:\spark\spark-2.4.4-bin-hadoop2.7

Path: C:\spark\spark-2.4.4-bin-hadoop2.7\bin

 

四、winutils.exe文件补充

需要从https://github.com/steveloughran/winutilshttps://gitee.com/likespace/winutils 此处下载与你的hadoop版本对应或版本更高的winutils.exe文件,并保存到Hadoop的bin目录下。

 

如果没有winutils.exe文件,执行spark-shell将会出现如下错误:ERROR Shell: Failed to locate the winutils binary in the hadoop binary path

 

 

五、命令行检验

1.启动scala shell模式

spark-shell

 

2.启动python shell模式

pyspark

 

3.查看Spark context Web UI

http://127.0.0.1:4040

4..退出shell

ctrl + D

 

 

至此,我们已经成功在windows环境下搭建起Spark开发环境,可以使用Spark愉快地继续自己的大数据之旅了!

posted @ 2019-11-25 22:27  JasonCeng  阅读(578)  评论(0编辑  收藏  举报