基于Hadoop2.6的Spark1.2单机安装

一,安装环境 
硬件:虚拟机 
操作系统:Centos 6.4 64位 
IP:10.51.121.10 
主机名:datanode-4 
安装用户:root 
Hadoop:Hadoop2.6,Hadoop2.6的单机安装请见:http://www.cnblogs.com/zouzhongfan/p/4309405.html
Hive:Hive0.13,Hive0.13的安装请见:http://www.cnblogs.com/zouzhongfan/p/4309432.html

 

二,安装Scala 
1,到http://www.scala-lang.org/download/ 下载与Spark版本对应的Scala。Spark1.2对应于Scala2.10的版本。这里下载scala-2.10.4.tgz。 
2,解压安装Scala 
1), 执行#tar -axvf scala-2.10.4.tgz,解压到/root/spark/scala-2.10.4。 
2),在~/.bash_profile中添加如下配置:

export SCALA_HOME=/root/spark/scala-2.10.4
export PATH=$JAVA_HOME/bin$HADOOP_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$PATH

3),使环境变量生效,#source ~/.bash_profile 
3,验证安装,在命令行中输入scala命令,可以进入scala命令控制台。

# scala
Welcome to Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.6.0_45).
Type in expressions to have them evaluated.
Type :help for more information.

scala> 

三,安装Spark 
1,到http://spark.apache.org/downloads.html下载spark-1.2.0-bin-hadoop2.4.tgz,解压到/root/spark/spark-1.2.0-bin-hadoop2.4。 
2,在.bash_profile中添加如下配置:

export SPARK_HOME=/root/spark/spark-1.2.0-bin-hadoop2.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$PATH

3,使环境变量生效,#source ~/.bash_profile

四,配置Spark 
1,进入Spark的配置文件路径,#cd $SPARK_HOME/conf 
2,执行,#cp spark-env.sh.template spark-env.sh 
3,在spark-env.sh文件中添加如下配置:

export JAVA_HOME=/usr/lib/jdk1.6.0_45
export SCALA_HOME=/root/spark/scala-2.10.4
export HADOOP_CONF_DIR=/root/hadoop/hadoop-2.6.0/etc/hadoop

五,启动Spark 
1,进入spark的安装路径,#cd /root/spark/spark-1.2.0-bin-hadoop2.4 
2,执行#./sbin/start-all.sh命令 
3,执行 #jps命令,会有Master和Worker进程

# jps
38907 RunJar
39030 RunJar
54679 NameNode
26587 Jps
54774 DataNode
9850 Worker
9664 Master
55214 NodeManager
55118 ResourceManager
54965 SecondaryNameNode

4,进入Spark的Web界面:http://datanode-4:8080/ 
这里写图片描述
5,执行,#./bin/spark-shell命令,可以进入Spark的shell环境,可以通过http://datanode-4:4040,看到SparkUI的情况。 
这里写图片描述

posted on 2015-03-02 17:49 邹中凡 阅读(...) 评论(...) 编辑 收藏

导航

公告