2019年3月19日
【Spark调优】提交job资源参数调优
摘要： 【场景】 Spark提交作业job的时候要指定该job可以使用的CPU、内存等资源参数，生产环境中，任务资源分配不足会导致该job执行中断、失败等问题，所以对Spark的job资源参数分配调优非常重要。 spark提交作业，yarn-cluster模式示例： ./bin/spark-submit\ 阅读全文
posted @ 2019-03-19 22:09 wwcom123 阅读(1724) 评论(0) 推荐(0) 编辑