摘要: 摘要   1.使用reduceByKey/aggregateByKey替代groupByKey   2.使用mapPartitions替代普通map   3.使用foreachPartitions替代foreach   4.使用filter之后进行coalesce操作   5.使用repartitionAndSortWithinPartitions替代repartition与sort类操作   6.使用broadcast使各task共享同一Executor的集合替代算子函数中各task传送一份集合 阅读全文
posted @ 2017-03-03 22:38 混沌战神阿瑞斯 阅读(1966) 评论(0) 推荐(0) 编辑