寒假生活(spark的运行角色)

Spark运行角色
Spark中由4类角色组成整个Spark的运行时环境
。Master角色,管理整个集群的资源类比与YARN的ResouceManager。Worker角色,管理单个服务器的资源类比于YARN的NodeManager
。Driver角色，管理 单个Spark任务在运行的时候的工作类比于YARN的ApplicationMaster·Executor角色单个任务运行的时候的一堆工作者,干活的.类比于YARN的容器内运行的TASK
从2个层面划分
资源管理层面:管理者: Spark是Master角色， YARN是ResourceManagel。。工作中: Spark是Worker角色， YARN是NodeManager从任务执行层面:
Driver
容器
某任务管理者: Spark是Driver角色， YARN是ApplicationMaster0
某任务执行者: Spark是Executor角色， YARN是容器中运行的具体工作进程