spark

首先安装JAVA，SCALA

scala安装

解压包

[root@master ~]# tar -zxvf scala-2.11.8.tgz -C /usr/local/src/

配置环境变量

#SCALA_HOME
export SCALA_HOME=/usr/local/src/scala
export PATH=$PATH:$SCALA_HOME/bin

安装spark

解压包

[root@master ~]# tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local/src/

配置环境变量

#SPARK_HOME
export SPARK_HOME=/usr/local/src/spark
export PATH=$PATH:$SPARK_HOME/bin

配置env文件与slave文件

env

export JAVA_HOME=/usr/local/src/jdk
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
export SCALA_HOME=/usr/local/src/scala
export HADOOP_HOME=/usr/local/src/hadoop
export SPARK_WORKER_MERMORY=1G
export HADOOP_HOME_DIR=/usr/local/src/hadoop/etc/hadoop

slave文件

master
slave1
slave2

进入web页面 ip+8080

启动spark

[root@master sbin]# ./start-all.sh