Spark源码

参考 http://cn.soulmachine.me/blog/20140130/

 

ubuntu14.04

 

1. 安装git，稍微配置一下
   sudo apt-get install git
   git config --global user.name "your name"
   git config --global user.email name@example.com
2. git clone，将spark源码下到本地，具体命令参考http://spark.apache.org/downloads.html
   git clone git://github.com/apache/spark.git
3. 安装scala，添加环境变量SCALA_HOME，将$SCALA_HOME/bin添加到path中
4. 安装sbt
   sudo apt-get install sbt
5. 安装idea，以及scala插件
6. 生成idea项目文件，这个过程有点漫长，进入源码根目录
   ./sbt/sbt gen-idea
7. 在idea中打开spark项目