寒假生活(spark的 Standalone 架构)

Standalone 架构

Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模 式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。 StandAlone 是完整的Spark运行环境,其中: Master角色以Master进程存在, Worker角色以Worker进程存在 Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行

StandAlone集群在进程上主要有3类进程:

 主节点Master进程：

 Master角色, 管理整个集群资源，并托管运行各个任务的Driver

 从节点Workers：

 Worker角色, 管理每个机器的资源，分配对应的资源来运行Executor(Task)；

每个从节点分配资源信息给Worker管理，资源信息包含内存Memory和CPU Cores核数

 历史服务器HistoryServer(可选)：

Spark Application运行完成以后，保存事件日志数据至HDFS，启动HistoryServer可以查看应用运行相关信息。