日月的弯刀  
Where Amazing Happens!

2017年3月10日

Spark性能调优之JVM调优
摘要： Spark性能调优之JVM调优 通过一张图让你明白以下四个问题 1.JVM GC机制，堆内存的组成 2.Spark的调优为什么会和JVM的调优会有关联？--因为Scala也是基于JVM运行的语言 3.Spark中OOM产生的原因 4.如何在JVM这个层面上来对Spark进行调优 补充： Spark程 阅读全文
posted @ 2017-03-10 23:58 日月的弯刀 阅读(1003) 评论(0) 推荐(0)
 
Spark数据本地化-->如何达到性能调优的目的
摘要： Spark数据本地化-->如何达到性能调优的目的 1.Spark数据的本地化：移动计算，而不是移动数据 2.Spark中的数据本地化级别： TaskSetManager 的 Locality Levels 分为以下五个级别： PROCESS_LOCAL NODE_LOCAL NO_PREF RACK 阅读全文
posted @ 2017-03-10 23:22 日月的弯刀 阅读(985) 评论(0) 推荐(0)
 
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3