spark01

spark的特点

搭建spark的集群

提交spark的任务

spark的运行机制

spark wordcount

spark的官网spark.apache.org

spark运行速度比较快：因为使用内存

mr存在昂贵的shuffle

mr 只有两个算子 (map reduce)*N

mr每次计算的时候中间结果落地到磁盘中

spark 算子比较多

不需要落地中间结果到磁盘上

spark支持多种语言

spark DAG有向无环图可以先生成图，然后将图进行切分整理，然后按照图进行优化执行

spark存在容错 mr不存在容错，spark是一次性运行完毕的

spark的部署模式

spark部署模式分为四种

local 本地模式，开箱即用

standalone：spark自带的模式，这个模式是最常用的模式

yarn：资源管理框架

mesos：和yarn一样

按照spark集群

下载安装包

官网中下载

部署spark master worker worker worker

spark -- scala --- jdk1.8

根据进程号查看任务的端口号

7077是master的通信端口，这个端口tcp

6066是restful风格的http请求接口

8080master的监控页面

8081是worker的监控页面

7077是woker连接master的地址

master里面的每个worker都是8cores 1G

查看系统内存

worker cores = all cores memory = all memory minus 1G

spark任务的提交

spark-submit 提交的是jar包

spark-shell 交互式命令行

spark-shell中含有spark-submit的内容。其实spark-shell提交任务是使用的spark-submit

spark-submit的使用：

spark-submit [options] <app jar | python file> [app arguments]

--master 提交任务到哪个集群中

--class 运行jar包中的哪个类

--name 运行的任务再监控页面中可以看到任务的名字

spark-submit --master spark://master02:7077 --class org.apache.spark.examples.SparkPi /home/ghostwowo/Downloads/spark-2.2.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.0.jar 10

spark-submit --master local本地模式的单个cores local[N]本地模式的n个核数 local[*]

executor执行其

每个worker默认启动一个executor，每个executor默认使用1g内存所有的cores

sparks-shell交互式命令行

spark-shell --master spark://master02:7077 这个命令是再集群中开启一个长应用，但是不会运行任务，交互式命令行

任务的监控页面是4040端口，任务运行的时候spark集群的上下文文件对象是sc实例，通过使用sc就可以和集群进行沟通会话

spark版本的wordcount

再spark中读取文件的时候发现文件不存在

因为spark是集群模式，sc.textFile(“”)读取文件的时候，每台机器都读取自身的文件

为什么读取的时候不报错？

读取的数据都是rdd，rdd上面的操作方法都叫做算子，算子分为两种转换类的算子行动类的算子

将一个rdd转换为另一个rdd的算子就是转换类算子，是懒加载的

行动类算子，一旦一个应用中遇见了行动类的算子，那么才会真正的执行

transformation action

其实spark任务读取文件的时候都从hdfs中读取

scala> sc.textFile("hdfs://master:9000/aaa.txt")

res8: org.apache.spark.rdd.RDD[String] = hdfs://master:9000/aaa.txt MapPartitionsRDD[8] at textFile at <console>:25

scala> res8.flatMap(_.split(" "))

res9: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[9] at flatMap at <console>:27

scala> res9.map((_,1))

res10: org.apache.spark.rdd.RDD[(String, Int)] = MapPartitionsRDD[10] at map at <console>:29

scala> res10.groupBy(_._1)

res11: org.apache.spark.rdd.RDD[(String, Iterable[(String, Int)])] = ShuffledRDD[12] at groupBy at <console>:31

scala> res11.mapValues(_.size)

res12: org.apache.spark.rdd.RDD[(String, Int)] = MapPartitionsRDD[13] at mapValues at <console>:33

scala> res12.collect

res13: Array[(String, Int)] = Array((tom,1), (hello,4), (jerry,1), (rose,2), (jack,2))

一般的算子都是转换类算子

collect将数据从多个rdd中收集起来

saveAsTextFile(“”)将数据保存到一个文件介质中

foreach(println)遍历每一个元素，进行处理

idea中的wordcount

def main(args: Array[String]): Unit = {
  val conf = new SparkConf()
  conf.setAppName("wc")
  conf.setMaster("local")
  val sc = new SparkContext(conf)
  val rdd1:RDD[String] =sc.textFile("hdfs://master:9000/aaa.txt")
  val rdd2:RDD[String] =rdd1.flatMap(_.split(" "))
  val rdd3:RDD[(String,Int)] = rdd2.map((_,1))
  val rdd4:RDD[(String,Iterable[(String,Int)])] = rdd3.groupBy(_._1)
  val rdd5:RDD[(String,Int)] = rdd4.mapValues(_.size)
  rdd5.saveAsTextFile("hdfs://master:9000/aaares")
}

运行内存不足的时候-Xmx512M增加运行内存

spark-submit --master spark://master02:7077 --class com.bw.spark.WordCount Spark1807-1.0-SNAPSHOT.jar hdfs://master:9000/aaa.txt hdfs://master:9000/aaares1

提交任务到集群中，如果已经有任务再运行了，那么就不存在足够的资源；需要等待资源分配

再提交任务的时候查看spark的集群进程