2019年1月1日
spark使用性能优化记录
摘要： 性能调优： 总则：加资源加并行度 简单直接，调节最优的资源配置 RDD架构和持久化 当可分配的资源无法达到更多的时候在考虑性能调优 从 重剑无锋 到 花拳绣腿 1.分配资源 并行度 RDD架构和缓存 2.shuffle调优 3.spark算子调优 4.JVM调优 、 广播大变量 分配哪些资源：exe 阅读全文
posted @ 2019-01-01 15:04 力扛九鼎 阅读(441) 评论(0) 推荐(0)