[spark]spark 编程教程
参考：
英文：https://spark.apache.org/docs/latest/programming-guide.html
中文：http://www.cnblogs.com/lujinhong2/p/4651025.html 1.2.1版本的
（一）快速入门
老规矩，先看一个简单示例，有个认识。这个示例来自官方example的SparkPi：
package org.lujinhong.demo.spark
/*
* 官方的sparkPi示例
*/
import scala.math.random
import org.apache.spark._
/** Computes an approximation to pi */
object SparkPi {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Spark Pi").setMaster("local")
val spark = new SparkContext(conf)
val slices = if (args.length > 0) args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow
val count = spark.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _)
println("Pi is roughly " + 4.0 * count / n)
spark.stop()
}
}
注意以上的setMaster(“local”)是自己加上去的，方便直接在本地运行。如果在集群上运行，则通过spark-submit的—master参数指定。
写好代码后，就可以直接在eclipse中右键—>运行了。
（二）理论介绍
1、spark中的所有操作都与RDD相关，包括创建RDD，transformation（将RDD转换为另一个RDD)和action（触发RDD的计算，以及输出等）。
In Spark all work is expressed as either creating new RDDs, transforming existing RDDs, or calling operations on RDDs to compute a result.
2、RDD是一个不可变的分布式对象集合，每个RDD会被分成多个分区，它们分别在不同的机器上被计算。它可以是任何的python/java/scala对象，包括你自己创建的对象。
注意RDD是不可变的，因此若需要改变现有RDD的内容，只能通过创建一个新的RDD来实现，这也是transformation的作用。
RDD是一个集合，因此可以通过一些迭代方法对内容进行处理
3、RDD操作类型：对RDD的操作可以分为2种类型
（1）Transformation: 将一个RDD转化为另一个RDD，如map, filter等操作
（2）Action：返回计算结果给driver，写入存储等操作。
最明显的区别：transformation返回一个RDD, action返回其它数据类型
（三）Spark应用的主要4个工作流程如下：
1、create: 通过读取外部数据源来创建RDD。（虽然说也可以将list/set等转化为RDD，但实际上这对于处理大数据没什么作用，一般只用作demo）
2、transformation: 将RDD将化为另一个RDD，如filter()等。
3、cache： 将RDD缓存下来，方便之后再使用，如persitst()等。
4、action: 执行真正的工作，计算结果并输出，如count(),first()等。
几个注意点
1、创建RDD有2种方法：
（1）从外部数据集中创建，如从文件，socket，kafka, flume等数据源
（2）将list/set等集合转化为RDD。scala> val lines = sc.parallelize(List("apple","pear"));
2、执行transformation只定义了操作，spark执行的是懒计算原则，即transformation不会触发真正的计算，而是等到第一个action出现时才开始真正的计算。这对于大数据量时成为重要。如读取一份大文件时，若马上将其读入内存，会占用大量的内存空间，而有可能过很长时间也会开始计算。另一方面，如果只是执行first()类似的计算，这个文件完全没必要全部读入内存，而是只读取到第一行就可以了。
3、默认情况下，对于每一个action，spark会重新计算它用到的RDD，若一个RDD会被之后的多个action用到，可以将其缓存到内存（当作也可以到磁盘等），如读取一个文件后，先经过filter，过滤出只包括”spark”的行，此时可以将这个RDD保存到内存中，再分别计算它的count()，first()等操作。
cache() is the same as calling persist() with the default storage level.
4、action会触发真正的计算。
看一个示例：
$ bin/spark-shell
