SparkSubmit

spark-submit 脚本用于在具有任何集群资源管理器的集群上启动Spark应用程序。
SparkSubmit允许动态设置配置，然后在应用程序启动时注入到环境中。

 

spark-submit 
 --class org.onepiece.coreAPP 
 --executor-memory 2G 
 --num-executors 10 
 --conf spark.shuffle.spill=false  
 myAPP.jar

 

在有多个配置参数的情况下，可以将它们全部放在一个文件中，并利用 --properties--file 参数把该文件传递给应用程序。

spark-submit --class org.onepiece.coreAPP --properties-file my_config_file.conf myAPP.jar

 

vim my_config_file.conf

spark.executor.memory 2G
spark.executor.instances 10
spark.shuffle.spill false