2018年7月28日
Spark性能优化（基于Spark 1.x）
摘要： Task优化： 1.慢任务的性能优化：可以考虑减少每个Partition处理的数据量，同时建议开启spark.speculation（慢任务推导，当检测的慢任务时，会同步开启相同的新任务，谁先完成就认定该任务完成）。 2.尽量减少Shuffle，例如我们要尽量减少groupByKey的操作，因为gr 阅读全文
posted @ 2018-07-28 21:50 云山之巅 阅读(255) 评论(0) 推荐(0)