3.Spark设计与运行原理，基本操作

1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。

2.请阐述Spark的几个主要概念及相互关系：

   RDD,DAG,Application, job,stage,task,Master, worker, driver,executor,Claster Manager

 

RDD任务划分原理
窄依赖不会shuffle，所有的RDD分区转换可以并行进行，所以各种task可以在同一个stage中进行；

宽依赖由于会产生shuffle，上一个stage没完，数据不会进行shuffle到下一个stage，下一个stage只能等待，所以宽依赖是划分阶段的依据。

RDD任务切分级别为：Application、Job、Stage、Task

1.Task(任务)：RDD中的一个分区对应一个task，task是单个分区上最小的处理流程单元。将Stage划分的结果发送到不同的Executor中执行。

2.TaskSet(任务集)：一组关联的，但相互之间没有Shuffle依赖关系的Task集合。

3.Stage(调度阶段)：一个taskSet对应的调度阶段，每个job会根据RDD的宽依赖关系被切分很多Stage，每个stage都包含 一个TaskSet。

4.job(作业)：由Action算子触发生成的由一个或者多个stage组成的计算作业（至少有一个ResultStage）。

5.application：初始化一个SparkContext即生成一个Application，用户编写的spark应用程序，由一个或者多个job组成，提交到spark之后，spark为application分派资源，将程序转换并执行。

6.DAGScheduler：根据job构建基于stage的DAG，并提交stage给TaskScheduler。

 

ps：shuffle之后会产生新的Stage，重新分区

 

在基于standalone的Spark集群，Cluster Manger就是Master。 
Master负责分配资源，在集群启动时，Driver向Master申请资源，Worker负责监控自己节点的内存和CPU等状况，并向Master汇报。

从资源方面，可以分为两个层面： 
1）资源的管理和分配 
资源的管理和分配，由Master和Worker来完成。Master给Worker分配资源， 
Master时刻知道Worker的资源状况。 
客户端向服务器提交作业，实际是提交给Master。

2）资源的使用 
资源的使用，由Driver和Executor。程序运行时候，向Master请求资源。

 一个Worker默认情况下分配一个Executor，配置时根据需要也可以配置多个Executor。一个节点，如果配置了多个Executor，那么就会涉及到性能调优

 

3.在PySparkShell尝试以下代码，观察执行结果，理解sc,RDD,DAG。请画出相应的RDD转换关系图。 

>>> sc

>>> lines = sc.textFile("file:///home/hadoop/my.txt")

>>> lines

>>> words=lines.flatMap(lambda line:line.split())

>>> words

>>> wordKV=words.map(lambda word:(word,1))

>>> wordKV

>>> lineKV=lines.map(lambda line:(1,line))

>>> lineKV

>>> lines.foreach(print)

>>> words.foreach(print)

>>>wordKV.foreach(print)

>>>lineKV.foreach(print)

 自己生成sc

from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("My App")
sc=SparkContext(conf=conf)