3.3 Spark的部署和应用方式

一、Spark的部署

1.单机Local

2.集群

（1）Standalonc

Spark自带的资源管理器，效率不高

（2）YARN

如果部署的是Hadoop集群，可以用YARN资源调度

（3）Mesos

 

Spark和Mesos是相互优化的，它们之间性能匹配得非常好。

二、Spark的应用方式

Spark优势：

• 延迟低
• 批处理快
• 组件多

以前Spark无法满足毫秒级流计算需求，但Spark2.3（2018年）版本出来后，增加了Structured Streaming持续流模式，这意味着它可以和Flink一样，可以满足毫秒级别的流计算需求。

 

 

 

 

 

 

 

参考文献：

【1】Spark编程基础_中国大学MOOC(慕课)