spark 2.3.3 安装

Spark-2.3.3 安装

  • 第一步：[root@head42 spark]# tar -zxvf spark-2.4.3-bin-hadoop2.6.tgz -C /opt/

  • 第二步：创建软连接

  • [root@head42 spark]# ln -s spark-2.4.3-bin-hadoop2.6/ spark

  • 第三步：复制并修改conf目录下spark-env.sh文件

    [root@head42 spark]# cp spark-env.sh.template spark-env.sh
export JAVA_HOME=/usr/soft/jdk1.8.0_111
export SCALA_HOME=/usr/soft/scala-2.11.8
export HADOOP_HOME=/usr/soft/hadoop-2.7.3
export HADOOP_CONF_DIR=/usr/soft/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=192.168.10.113
export SPARK_MASTER_PORT=7077
export SPARK_MASTER_WEBUI_PORT=8888

  • 第四步：修改sbin目录下的spark-config.sh

  • export JAVA_HOME=/usr/soft/jdk1.8.0_111/

  • 第五步：修改环境变量

  • export SPARK_HOME=/usr/soft/spark-2.3.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

  • 第六步：启动方式

  • 1）先启动Hadoop

  • 2）在spark sbin目录下： ./start-all.sh

  • 3）在bin目录下：spark-shell

  • 4）访问网址：http://192.168.56.103:8888/

  • 这样就好了哈！

posted on 2019-07-29 14:50  来勒  阅读(885)  评论(0)  编辑  收藏  举报

导航