【大数据基础】spark模式以及提交脚本

一、local本地模式

二、spark-standalone模式

三、yarn模式

目前最多的是yarn模式，资源同一调度

提交脚本

spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--driver-cores 1 \
--num-executors 2 \
--executor-memory 1g \
--executor-cores 1 \
./spark-examples*.jar 10

　参数解析

https://spark.apache.org/docs/3.0.0/running-on-yarn.html