2018年5月6日
spark性能调优点（逐步完善）
摘要： 1、使用高性能序列化类库2、优化数据结构3、对多次使用的RDD进行持久化/CheckPoint4、使用序列化的持久化级别5、Java虚拟机垃圾回收调优 降低RDD缓存占用空间的比例：new SparkConf().set("spark.storage.memoryFraction","0.5"),从 阅读全文
posted @ 2018-05-06 18:32 Runner_Jack 阅读(251) 评论(0) 推荐(0) 编辑