11 2018 档案
摘要:num-executors参数说明:该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时,YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上,启动相应数量的Executor进程。这个参数非常之重要,如果不设置的话,默认只会给你
阅读全文
posted @ 2018-11-16 14:17
highyeyeye

浙公网安备 33010602011771号