1.Spark简介

1. Spark数据处理速度秒杀MapReduce

　　Spark因为其处理数据的方式不一样，会比MapReduce快上很多。MapReduce是分步对数据进行处理的: ”从　集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等…“ Booz Allen Hamilton的数据科学家Kirk Borne如此解析。

反观Spark，它会在内存中以接近“实时”的时间完成所有的数据分析：“从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成，” Born说道。Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。

如果需要处理的数据和结果需求大部分情况下是静态的，且你也有耐心等待批处理的完成的话，MapReduce的处理方式也是完全可以接受的。

但如果你需要对流数据进行分析，比如那些来自于工厂的传感器收集回来的数据，又或者说你的应用是需要多重数据处理的，那么你也许更应该使用Spark进行处理。

大部分机器学习算法都是需要多重数据处理的。此外，通常会用到Spark的应用场景有以下方面：实时的市场活动，在线产品推荐，网络安全分析，机器日记监控等

   

1. Spark集群部署后，需要在主节点和从节点分别启动Master进程和Worker进程，对整个集群进行控制。
2. 在一个Spark应用的执行过程中，Driver和Worker是两个重要角色。
3. Driver程序是应用逻辑执行的起点，负责作业的调度，即Task任务的分发，而多个Worker用来管理计算节点和创建Executor并行处理任务。
4. 在执行阶段，Driver会将Task和Task所依赖的file和jar序列化后传递给对应的Worker机器，同时Executor对相应数据分区的任务进行处理。 

Spark的整体流程为：

 

1. Client提交应用，Master找到一个Worker启动Driver
2. Driver向Master或者资源管理器申请资源，之后将应用转化为RDD Graph
3. 再由DAGScheduler将RDD Graph转化为Stage的有向无环图提交给TaskScheduler
4. 由TaskScheduler提交任务给Executor执行。
5. 在任务执行的过程中，其他组件协同工作，确保整个应用顺利执行