spark shell

启动spark-shell客户端

spark自带的交互式shell程序，可以在该命令行下使用scala编写spark程序

启动spark-shell

bin/spark-shell \
--master spark://m1:7077 \
--executor-memory 512m \
--total-executor-cores 2

--master:指定spark集群的master节点，如果不指定则是启动本地模式一个worker进程，如果指定为local则本地启动一个worker进程，如果为local[k]则启动k个worker进程，如果为local[*]则启动的worker进程和机器核心数一样
--executor-memory:指定每一个executor可以占用的内存
--total-executor-cores：指定整个应用可以使用的核心数

 

常用的方法

RDD的方法分为transformations和actions，当对RDD进行transformation时，不会立刻执行，因为transformation是延迟执行的，

此时只会记录RDD的lineage，transformation返回的数据还是RDD。action会立刻执行，返回操作后的结果集

1、textFile： 加载文件，如果文件不是分布式文件，则每个work节点都需要有这个文件，不然运行的时候会提示文件找不到错误

     sc.textFile("README.md") 

2、addFile：添加文件到spark中

     sc.addFile("../test")

     可以通过 sc.textFile(SparkFiles.get("test"))进行文件的加载，注意引入import org.apache.spark.SparkFiles

3、count：RDD中有多少条数据

     val input = sc.textFile("../README.md")

      input.count

4、first：返回RDD中的第一条数据

     input.first

5、map：对RDD中的每一条数据做map方法中传递的方法的操作

    val spaceSplit = input.map(_.split(" "))

     spaceSplit.first

6、flatMap：对RDD的数据进行映射后，合并成一个集合

     val fmInput = input.flatMap(_.split(" "))

flatMap:

map：

7、take：取RDD中的前几条数据

    val input = sc.textFile("../README.md")

    取第一条数据：input.take(1)

    取前三条数据：input.take(3)

8、collect：以集合的形式返回RDD中的数据

    input.collect

9、reduceByKey：对相同key的值，做给定方法的操作，下面是一个spark实现的map reduce统计文件中的单词个数

     input.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect