A7--Spark部署

一、版本信息

JDK	1.8
spark	3.2.1

二、安装部署

1）上传解压缩文件

tar -zxvf spark-3.2.1-bin-hadoop3.2.tgz

 

2）配置环境变量

vim /etc/profile

 

# Spark

export SPARK_HOME=/opt/spark-3.2.1

export PATH=$SPARK_HOME/bin:$PATH

3）修改配置文件

vim /opt/spark-3.2.1/conf/spark-env.sh

 

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_HOME=/opt/spark-3.2.1

export PATH=$SPARK_HOME/bin:$PATH

export PYSPARK_PYTHON=/usr/bin/python

export SPARK_DRIVER_PYTHON=/usr/bin/python