Spark on Intellij IDEA

添加scala插件

如果网络有问题，可以手动下载插件安装包（http://plugins.jetbrains.com/plugin/?id=1347），在上面选择“Install plugin from disk”，在弹出的标签里选择你存放插件的路径，点OK即可。

下面新建scala工程

据说scala2.11问题多，最好用2.10

点击finish之后，啥都没有

到官网http://spark.apache.org/下载spark，解压，从File->Project Structre中导入[spark root path]/lib/spark-assembly-1.5.1-hadoop2.6.0.jar

在scr下新建scala object

/**
 * Created by Manhua on 2015/11/11.
 */
import org.apache.spark._

import scala.math.random


object s {
  def main(args: Array[String]) {
    val spark = new SparkContext("local", "Spark Pi")
    val slices = 2
    val n = 100000 * slices
    val count = spark.parallelize(1 to n, slices).map { i =>
      val x = random * 2 - 1
      val y = random * 2 - 1
      if (x * x + y * y < 1) 1 else 0
    }.reduce(_ + _)
    println("Pi is roughly " + 4.0 * count / n)
    spark.stop()
  }
}