spark集群在执行任务出现nitial job has not accepted any resources; check your cluster UI to ensure that worker

1 spark集群在执行任务时出现了:

   

 

2 原因:这是因为默认分配的内存过大(1024M)

3 解决方法:

     在conf/spark-env.sh下添加export  SPARK_WORKER_MEMORY=512和export  SPARK_DAEMON_MEMORY=256

   

posted @ 2018-11-19 20:25  人间值得  阅读(349)  评论(0编辑  收藏  举报