2019年6月1日
spark.sql.shuffle.partitions和spark.default.parallelism的区别
摘要： 在关于spark任务并行度的设置中，有两个参数我们会经常遇到，spark.sql.shuffle.partitions 和 spark.default.parallelism, 那么这两个参数到底有什么区别的？ 首先，让我们来看下它们的定义 For distributed shuffle opera 阅读全文
posted @ 2019-06-01 19:04 大葱拌豆腐 阅读(9650) 评论(0) 推荐(0)