Mac BookPro 安装Spark 2.1.0

安装Scala

• 下载和解压scala安装文件
• 配置scala环境变量

export SCALA_HOME=/usr/local/Cellar/scala@2.11/2.11.12/
export PATH=.$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$MYSQL_HOME/bin:/usr/local/bin:$SCALA_HOME/bin

• 验证scala安装成功

$ scala -version
Scala code runner version 2.11.12 -- Copyright 2002-2017, LAMP/EPFL

安装Spark

• 下载spark安装文件
• 解压spark安装文件

$ tar -zxf spark-2.1.0-bin-without-hadoop.tgz 

# 修改spark目录名称

$ mv spark-2.1.0-bin-without-hadoop spark-2.1.0

配置spark环境变量

vim ~/.bash_profile

# 添加如下内容：
export SPARK_HOME=/Users/walker/software/spark/spark-2.1.0
export PATH=$PATH:$SPARK_HOME/bin

 

$ source ~/.bash_profile

 

spark-shell 启动报错：
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream

# 解决方案：
# vim spark-env.sh
export SPARK_DIST_CLASSPATH=$(/Users/walker/software/hadoop/hadoop-2.7.1/bin/hadoop classpath)

 

spark-shell 启动报错：

20/02/01 19:50:28 WARN conf.Configuration: bad conf file: element not <property>
排查后发现 yarn-site.xml 中没有 property 标签，如下：

<configuration>
　　<!-- Site specific YARN configuration properties -->
　　<name>yarn.nodemanager.aux-services</name>
　　<value>mapreduce_shuffle</value>
</configuration>

正确写法：

<configuration>
　　<property>
　　<!-- Site specific YARN configuration properties -->
　　　　<name>yarn.nodemanager.aux-services</name>
　　　　<value>mapreduce_shuffle</value>
　　</property>
</configuration>

 

验证Spark WEBUI