随笔分类 -  spark

SparkLauncher 1.6 版本bug
摘要：在需求中发现1.6中SparkLauncher获取到的Application状态问题。 阅读全文
posted @ 2016-12-12 22:47 evashi 阅读(525) 评论(1) 推荐(1)
Spark性能优化-coalesce(n)
摘要：有时用Spark 运行Job 的时候，输出可能会出现一些空或者小内容。这时重新将输出的Partition 进行重新调整，可以减少RDD中Patition的数目。 两种方式： 1. coalesce(numPartitions:Int, shuffle:Boolean = false) 2. repa 阅读全文
posted @ 2015-08-10 16:54 evashi 阅读(800) 评论(0) 推荐(0)