关于spark standalone模式下的executor问题

1、spark standalone模式下,worker与executor是一一对应的。

2、如果想要多个worker,那么需要修改spark-env的SPARK_WORKER_INSTANCES为2,那么开启集群后, 每个节点就是两个worker了,然后启动任务后,每个节点就是两个executor啦

3、提高每个executor配置(即内核和内存)后,会增加集群的处理性能。  嗯,反正测试的结果就是这样的。  (同样的数据量同样的结点,然后executor的配置不同)

posted @ 2015-07-31 15:03  HarkLee  阅读(378)  评论(0编辑  收藏  举报