Spark性能调优篇一之任务提交参数调整
问题一：有哪些资源可以分配给spark作业使用？
答案：executor个数，cpu per exector（每个executor可使用的CPU个数），memory per exector（每个executor可使用的内存），driver memory
问题二：在什么地方分配资源给spark作业？
答案：很简单，就是在我们提交spark作业的时候的脚本中设定，具体如下（这里以我的项目为例）
/usr/local/spark/bin/spark-submit \
--class com.xingyun.test.WordCountCluster \
--num-executors 3 \*配置executor的数量 *\
--driver-memory 100m \*配置driver的内存（影响不大）*\
--executor-memory 100m \*配置每个executor的内存大小 *\
--executor-cores 3 \*配置每个executor的cpu core数量 *\
/usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar \
我们该如何设定这些参数的大小呢？下面分两种情况讨论。
case1：把spark作业提交到Spark Standalone上面。一般自己知道自己的spark测试集群的机器情况。举个例子：比如我们的测试集群的机器为每台4G内存，2个CPU core，5台机器。这里以可以申请到最大的资源为例，那么 --num-executors 参数就设定为 5，那么每个executor平均分配到的资源为：--executor-memory 参数设定为4G，--executor-cores 参数设定为 2 。
case2：把spark作业提交到Yarn集群上去。那就得去看看要提交的资源队列中大概还有多少资源可以背调度。举个例子：假如可调度的资源配置为：500G内存，100个CPU core，50台机器。 --num-executors 参数就设定为 50，那么每个executor平均分配到的资源为：--executor-memory 参数设定为 10G，--executor-cores 参数设定为 2
问题三：为什么分配了这些资源以后，我们的spark作业的性能就会得到提升呢？
因为是调优后呀.
作者：z小赵
链接：https://www.jianshu.com/p/d07e79c22d90
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
