Spark复习

# Spark

## 1.1

***用于大规模数据处理的统一分析引擎***



**Spark的架构角色**：

*资源管理层面：*

Master:集群资源管理

Worker:单机资源管理

*任务运行层面：*

Driver:单个任务的管理

Executor:单个任务的计算



Spark解决的问题：

海量的数据计算

可以进行离线批处理以及实时流计算



Spark有哪些模块：

核心Spark Core

SQL计算（SparkSQL）

流计算（SparkStreaming）

图计算（GraphX）

机器学习（）