3.Spark设计与运行原理，基本操作

1、图文阐述Spark生态系统的组成及各组件的功能。

1.1、Spark Core：

Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed Datasets,RDD)的API定义，RDD是只读的分区记录的集合，只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。

1.2、Spark SQL：

用来操作结构化数据的核心组件，通过Spark SQL可以直接查询Hive、 HBase等多种外部数据源中的数据。Spark SQL的重要特点是能够统一处理关系表和RDD在处理结构化数据时，开发人员无须编写 MapReduce程序，直接使用SQL命令就能完成更加复杂的数据查询操作。

1.3、Spark Streaming：

Spark提供的流式计算框架，支持高吞吐量、可容错处理的实时流式数据处理，其核心原理是将流数据分解成一系列短小的批处理作业，每个短小的批处理作业都可以使用 Spark Core进行快速处理。Spark Streaming支持多种数据源，如 Kafka以及TCP套接字等。

1.4、MLlib：

Spark提供的关于机器学习功能的算法程序库，包括分类、回归、聚类、协同过滤算法等，还提供了模型评估、数据导入等额外的功能，开发人员只需了解一定的机器学习算法知识就能进行机器学习方面的开发，降低了学习成本。

1.5、GraphX:

Spark提供的分布式图处理框架，拥有图计算和图挖掘算法的API接口以及丰富的功能和运算符，极大地方便了对分布式图的处理需求，能在海量数据上运行复杂的图算法。

1.6、

独立调度器、Yarn、 Mesos: Spark框架可以高效地在一个到数千个节点之间伸缩计算，集群管理器则主要负责各个节点的资源管理工作，为了实现这样的要求，同时获得最大的灵活性， Spark支持在各种集群管理器( Cluster Manager)上运行， Hadoop Yarn、Apache Mesos以及 Spark自带的独立调度器都被称为集群管理器。

 

2、请详细阐述Spark的几个主要概念及相互关系：Master, Worker;  RDD,DAG

2.1、Master

Spark 特有资源调度系统的 Leader，掌管着整个集群的资源信息（Standalone模式），类似于 Yarn 集群中的ResourceManager。

主要功能：1、监听 Worker，看集群中的 Worker 是否正常工作；

　　　　　2、管理 Worker、Application（接收 Worker 的注册并管理所有的 Worker；接收 Client 提交的 Application，调度等待的Application 并向Worker提交）。

2.2、Worker

Spark 特有资源调度系统的 Slaver，一个集群中有多个 Slaver（Standalone），每个 Slaver 掌管着所在节点的资源信息，类似于 Yarn 框架中的 NodeManager。

主要功能：1、通过 RegisterWorker 注册到 Master；

　　　　　2、定时发送心跳给 Master；

根据 Master 发送的 Application 配置进程环境，并启动 ExecutorBackend（执行 Task 所需的临时进程）。

2.3、RDD

RDD 是 Spark 对数据的核心抽象，其实就是分布式的元素集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及调用 RDD 操作进行求值。而在这一切背后， Spark 会自动将 RDD 中的数据分发到集群上，并将操作并行化执行。

Spark 中 RDD 是一种不可变的分布式对象集合，所以，对 RDD 的每一个操作都会生成一个新的 RDD。

2.4、DAG

DAG，有向无环图，Directed Acyclic Graph的缩写，常用于建模。Spark中使用DAG对RDD的关系进行建模，描述了RDD的依赖关系，这种关系也被称之为lineage，RDD的依赖关系使用Dependency维护，参考Spark RDD之Dependency，DAG在Spark中的对应的实现为DAGScheduler。

2.5、Task

在Executor进程中执行任务的工作单元，多个Task组成一个Stage

2.6、Job

包含多个Task组成的并行计算，是由Action行为触发的

2.7、Stage

每个Job会被拆分很多组Task，作为一个TaskSet，其名称为Stage

3、PySparkShell尝试以下代码