原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3822995.html

  

spark源码编译步骤如下:

  cd /home/hdpusr/workspace
  git clone git://github.com/apache/spark.git
  cd spark
  git checkout -b spark-1.0 v1.0.0
  export  SCALA_HOME=/usr/local(随便填个路径进行)
  export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
  mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package   (根据自己的hadoop版本进行设置)

  

  编译后会生成的jar包    

  

 

 

原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3822995.html

posted on 2014-07-03 18:30  tovin  阅读(630)  评论(0编辑  收藏  举报