spark0.9.0安装

利用周末的时间安装学习了下最近很火的Spark0.9.0(江湖传言,要革hadoop命,O(∩_∩)O),并体验了该框架下的机器学习包MLlib(spark解决的一个重点就是高效的运行迭代算法),下面是整个安装过程(图文并茂)

说明:安装环境,centos64位12G的服务器

         安装方式,单机伪分布式版

一,安装JDK

由于机器之前已经安装了jdk1.7.0,此步骤略去,网上可以搜到很多安装教程。

二,安装Hadoop

我这里安装的是hadoop2.2.0

第1步,添加hadoop用户(可选)

第2步,ssh免密码登陆

       首先,安装Openssh

       

      然后,设置ssh的免密码登陆

      

           红框的是输入了key存放的路径位置。

     然后,cd到这个目录下

      

        输入后,chmod 600 authorized_keys

    最后验证,是否可以免密码登陆

 

第3步,hadoop2.2.0安装

  用户wget命令下载hadoop  

  $ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz

解压到目录里面(我解压的目录是:/home/hadoop/)

  $ vim ~/.bashrc
  export HADOOP_PREFIX=/home/hadoop/hadoop-2.2.0

  export HADOOP_COMMON_HOME=$HADOOP_PREFIX

  export HADOOP_HDFS_HOME=$HADOOP_PREFIX

  export HADOOP_MAPRED_HOME=$HADOOP_PREFIX

  export HADOOP_YARN_HOME=$HADOOP_PREFIX
  export HADOOP_CONF_DIR=$HADOOP_PREFIX/etc/hadoop
  export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

  修改配置hadoop-env.sh,把java路径写进去

   

  修改配置core-site.xml

  

 

  修改配置hdfs-site.xml

    

   修改配置mapred-site.xml

    

 

     namenode格式化

     bin/hdfs namenode -format

     启动namenode,datanode,resourcemanager,nodemanager

第4步,Spark0.9.0安装

    第一步,下载安装scala

    wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz

    解压scala,放到/usr/lib下面

    修改环境变量  vim /etc/profile

     

   修改完成之后source /etc/profile

  第二步,下载安装spark

    wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-incubating/spark-0.9.0-incubating-bin-hadoop2.tgz

    解压spark,tar -zxvf spark-0.9.0-incubating-bin-hadoop2.tgz

    修改环境变量,在/etc/profile里面加上spark目录  

 

     修改完后,source /etc/profile

     打开hadoop,namenode,datanode,resourcemanager,nodemanager

     打开spark里面sbin下面的start-all.sh

     

 

     至此,单机版的spark环境已经搭建完成了,下面体验下spark自带的例子,计算圆周率pi

     在bin目录下,执行./run-example org.apache.spark.examples.SparkPi

     运行结果如下

      算出来pi=3.1362

体验MLlib

     MLlib目前包括分类(LR,SVM,NB)、聚类(Kmeans)、推荐(ALS,MF)三大模块,关于这些算法,官网也给了些例子,目前包含有scala,java,python三种API,http://spark.apache.org/docs/0.9.0/mllib-guide.html,先试试LR

       

 

     第一种方法是:可以在pyspark shell 上一行一行运行,如下图所示

     

     类似跟python shell一样,一行一行执行,不过要注意的地方就是,上面代码中的sc.textFile(),最好写本文文件的全路径

     还有一种方法是:把代码写成*.py文件,然后通过bin/pyspark *.py的方式来执行

 1 from pyspark.mllib.classification import LogisticRegressionWithSGD
 2 from numpy import array
 3 from pyspark.context import SparkContext
 4 #一定要创建sparkcontext(该类定义请参考文档),上一个方法因为在pyspark shell上,已经自定了SparkContext
 5 sc=SparkContext('local','test')
 6 # Load and parse the data
 7 data = sc.textFile("/home/hadoop/spark-0.9.0/mllib/data/sample_svm_data.txt")
 8 parsedData = data.map(lambda line: array([float(x) for x in line.split(' ')]))
 9 model = LogisticRegressionWithSGD.train(parsedData)
10 
11 # Build the model
12 labelsAndPreds = parsedData.map(lambda point: (int(point.item(0)),
13         model.predict(point.take(range(1, point.size)))))
14 
15 # Evaluating the model on training data
16 trainErr = labelsAndPreds.filter(lambda (v, p): v != p).count() / float(parsedData.count())
17 print("Training Error = " + str(trainErr))

 

        执行的结果如下所示,

 

     给出了逻辑回归里面的回归系数跟截距项,最后分类结果如下

     

     得到的训练错误率为39.8%,可以看到用的时间还是非常快的,OK,其他的算法,也可以通过类似的方式体验了,整个MLlib使用起来还是相当的简单,代码量也小,接下来,学习下里面的机器学习算法源代码(现实使用需要结合业务特点,去修改里面的一些源码)。

    本篇完

 

 

 

posted @ 2014-03-23 15:30  kobeshow  阅读(1390)  评论(0编辑  收藏