2018年1月19日
Spark 性能调优零散知识
摘要： 1. 如果 Spark 中 CPU 的使用率不够高，可以考虑为当前的程序分配更多的 Executor， 或者增加更多的 Worker 实例来充分的使用多核的潜能 2. 适当设置 Partition 分片数是非常重要的，过少的 Partition 分片数可能会因为每个 Partition 数据量太大而 阅读全文
posted @ 2018-01-19 19:59 一剑侵心 阅读(396) 评论(0) 推荐(0)