2023年3月23日
一次spark任务提交参数的优化
摘要： 起因 新接触一个spark集群，明明集群资源（core,内存）还有剩余，但是提交的任务却申请不到资源。 分析 环境 spark 2.2.0 基于yarn集群 参数 spark任务提交参数中最重要的几个： spark-submit --master yarn --driver-cores 1 --dr 阅读全文
posted @ 2023-03-23 14:18 是奉壹呀 阅读(217) 评论(0) 推荐(0)
← → ↓ ↑