Spark sql优化

spark_sql_shuffle_partitions设置executor的partitions个数,注意这个参数只对SparkSQL有用

但是有的文章说这是并行度,一个partitions相当于一个task?

posted @ 2020-03-07 22:00  再见傅里叶  阅读(231)  评论(0)    收藏  举报