Spark1.2.1集群环境搭建——Standalone模式

机器准备

笔者有三台机器，左侧栏为ip，右侧为hostname，三台机器都有一个名为spark的用户。

?

1 2 3

192.168.248.150 spark-master 192.168.248.153 ubuntu-worker 192.168.248.155 spark-worker1

根据机器信息加入到三台机器的/etc/hosts中。

安装Hadoop2.4.1

详见Spark集群搭建——Hadoop2.4.1集群搭建，因为我们使用的是standalone方式，只启动hdfs即可。

安装scala

参照Scala极速入门安装部分，在一台机器上解压、配置环境变量后，将文件夹和环境变量文件通过scp拷贝到另外两台即可。

?

1	scp -r scala spark@ubuntu-worker:~/spark

下载spark

点此下载

解压文件 tar -xzvf spark-1.2.1-bin-hadoop2.4.tgz

配置

1.  向环境变量添加spark home。

?

1 2	export SPARK_HOME=/home/mupeng/Hadoop/spark-1.2.1-bin-hadoop2.4 export PATH=$SPARK_HOME/bin:$PATH

2.  配置./conf/slaves

首先将slaves.template拷贝一份

?

1	cp slaves.template slaves

修改slaves文件

?

1 2 3 4

# A Spark Worker will be started on each of the machines listed below. spark-master ubuntu-worker spark-worker1

3.  配置./conf/spark-env.sh

同样将spark-env.sh.template拷贝一份

?

1	cp spark-env.sh.template spark-env.sh

在spark-env.sh最后加入以下几行

?

1 2 3 4 5

export JAVA_HOME=/home/mupeng/java/jdk1.6.0_35 export SCALA_HOME=/home/mupeng/scala/scala-2.11.6 export SPARK_MASTER_IP=192.168.248.150 export SPARK_WORKER_MEMORY=25g export MASTER=spark://192.168.248.150:7077

最后将spark-1.2.1-bin-hadoop2.4文件夹拷贝到另外两个结点即可。

检查安装是否成功

访问web管理界面：http://192.168.248.150:8080

好了，配置结束，可以在我们的spark集群上运行任务了！