Spark分布式集群的安装环境，需要事先配置好Hadoop的分布式集群环境。如果没有配置好Hadoop的分布式集群环境，请点击Hadoop 2.7分布式集群环境搭建，根据教程进行安装。（备注：本教程采用Spark2.0搭建集群，同样适用于搭建Spark1.6.2集群）

安装Spark

这里采用3台机器（节点）作为实例来演示如何搭建Spark集群，其中1台机器（节点）作为Master节点，另外两台机器（节点）作为Slave节点（即作为Worker节点），主机名分别为boos1和boos2。
在Master节点机器上，访问Spark官方下载地址，按照如下图下载。

下载完成后，执行如下命令：

tar -zxvf [spark所在的目录] -C [要解压到的目录]
sudo chown -R [hadoop[hadoop用户不行的话用root用户]] ./spark

Shell 命令

配置环境变量

在Mster节点主机的终端中执行如下命令：

vim /etc/profile.d/my_env.sh

Shell 命令

在.bashrc添加如下配置：

export SPARK_HOME=[spark安装路径]
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

执行如下命令使得配置立即生效：

source ~/.bashrc

Shell 命令

Spark配置

在Master节点主机上进行如下操作：

配置slaves文件
将 slaves.template mv为slaves

mv  slaves.template slaves

Shell 命令

slaves文件设置Worker节点。编辑slaves内容,把默认内容localhost替换成如下内容：

# boos1和boos2为另外两个节点的名称
boos1
boos2

配置spark-env.sh文件

将 spark-env.sh.template mv spark-env.sh

mv spark-env.sh.template spark-env.sh

Shell 命令

编辑spark-env.sh,添加如下内容：

export SPARK_DIST_CLASSPATH=$([hadoop安装路径]bin/hadoop classpath)
export HADOOP_CONF_DIR=[hadoop安装路径]/etc/hadoop
export SPARK_MASTER_IP=master主机IP

SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址；

配置好后，将Master主机上的/usr/local/spark文件夹复制到各个节点上。在Master主机上执行如下命令：

rsync -av /[spark安装路径] root@[节点名称 这里为boos1]:/spark安装路径
rsync -av /[spark安装路径] root@[节点名称 这里为boos2]:/spark安装路径

Shell 命令

在boos1,boos2节点上分别执行下面同样的操作：

 chown -R hadoop[root] /usr/local/spark

Shell 命令

启动Spark集群

启动Hadoop集群

启动Spark集群前，要先启动Hadoop集群。在Master节点主机上运行如下命令：

cd /usr/local/hadoop/sbin/start-all.sh

Shell 命令

启动Spark集群

启动Master节点

在Master节点主机上运行如下命令：
```
cd /usr/local/spark/sbin/start-master.sh
```
Shell 命令

在Master节点上运行jps命令，可以看到多了个Master进程：
```
15093 Jps
14343 SecondaryNameNode
14121 NameNode
14891 Master
14509 ResourceManager
```
启动所有Slave节点

在Master节点主机上运行如下命令：
```
sbin/start-slaves.sh
```
Shell 命令

分别在slave01、slave02节点上运行jps命令，可以看到多了个Worker进程
```
37553 DataNode
37684 NodeManager
37876 Worker
37924 Jps
```
在浏览器上查看Spark独立集群管理器的集群信息
在master主机上打开浏览器，访问http://master:8080,如下图：