2014年10月31日

Spark调优

摘要： 使用Spark有一段时间了，现在记录spark调优的一些经验。1.textFile的minparitition，只是设置最小的partition数目，下界（比如3），当数据量大的时候，改参数不起作用。可以尝试设置成10002. reduceByKey的并行度，也就是reduce的数目。 2.1 s... 阅读全文

posted @ 2014-10-31 22:42 Torstan 阅读(1290) 评论(0) 推荐(0)

导航