| | | |

2016年11月22日

摘要： Spark On YARN内存分配 http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html 阅读全文

posted @ 2016-11-22 18:38 江枫1 阅读(136) 评论(0) 推荐(0)

摘要：浅谈Spark应用程序的性能调优 :http://geek.csdn.net/news/detail/51819 下面列出的这些API会导致Shuffle操作，是数据倾斜可能发生的关键点所在 1. groupByKey 2. reduceByKey 3. aggregateByKey 4. sort 阅读全文

posted @ 2016-11-22 14:06 江枫1 阅读(177) 评论(0) 推荐(0)