Spark内存管理-UnifiedMemoryManager和StaticMemoryManager
摘要:
在Spark-1.6.0中,引入了一个新的参数spark.memory.userLegacyMode(默认值为false),表示不使用Spark-1.6.0之前的内存管理机制,而是使用1.6.0中引入的动态内存分配这一概念。 从SparkEnv.scala的源码中可以看到,该... 阅读全文
posted @ 2016-05-22 16:01 吴一达 阅读(773) 评论(0) 推荐(0)