122学习总结

1.spark on yarn的本质

master角色由yarn的resouorcemanager担任

worker角色由yarn的nodemanager担任

driver角色运行在yarn容器内或提交任务的客户端进程

真正干活的executor运行在yarn提供的容器内

2.spark on yarn需要啥

yarn 集群环境

spark客户端工具：spark-submit

被提交的代码程序

3.spark on yarn的目的

提高资源利用率，在已有yarn的场景下让spark受到yarn的调度可以更好地挂空资源提高利用率并方便管理