摘要：
一、Spark 性能优化 1.1 常规性能优化 生产环境 Spark submit 脚本 /usr/local/spark/bin/spark-submit \ --class com.atguigu.spark.WordCount \ --num-executors 80 \ --driver-m 阅读全文
posted @ 2025-04-11 22:27
业余砖家
阅读(152)
评论(0)
推荐(0)
摘要：
如何设置Spark资源并行度？ Spark 资源并行度由Executor数量和Executor CPU核数共同决定，任务可并行执行的最大Task数量为Executor数量 * Executor CPU核数。 Executor数量 参数：spark.executor.instances。 参数说明：该 阅读全文
posted @ 2025-04-11 22:16
业余砖家
阅读(378)
评论(0)
推荐(0)
浙公网安备 33010602011771号