1月29总结

今日了解了

StandAlone集群在进程上主要有3类进程:

主节点Master进程：

Master角色, 管理整个集群资源，并托管运行各个任务的Driver

 

从节点Workers：

 Worker角色, 管理每个机器的资源，分配对应的资源来运行Executor(Task)；

每个从节点分配资源信息给Worker管理，资源信息包含内存Memory和CPU Cores核数

 

历史服务器HistoryServer(可选)：

 Spark Application运行完成以后，保存事件日志数据至HDFS，启动HistoryServer可以查看应用运行相关信息。