寒假生活(StandAlone总结)
StandAlone的原理?
Master和Worker角色以独立进程的形式存在,并组成Spark运行时环境(集群)
Spark角色在StandAlone中的分布?
Master角色:Master进程, Worker角色:Worker进程, Driver角色和Executor角色: 以线程运行在Worker中
Standalone如何提交Spark应用? bin/spark-submit --master spark://server:7077
Job\State\Task的关系?
一个Spark程序会被分成多个子任务(Job)运行, 每一个Job会分成多个State(阶段)来 运行, 每一个State内会分出来多个Task(线程)来执行具体任务