乡情云雨

导航

05 2017 档案

spark优化
摘要：优化一般考虑资源优化 一、资源优化 I 集群方面的:driver的内存,worker内存,核数 方法 1.配置文件:spark-env.sh(配置worker的信息) SPARK_WORKER_CORE 每个worker的使用总核数 SPARK_WORKER_MEMORY 每个worker所使用的内 阅读全文

posted @ 2017-05-29 10:27 乡情云雨 阅读(545) 评论(0) 推荐(0)