2016年11月28日
Spark自定义分区(Partitioner)
摘要： 我们都知道Spark内部提供了HashPartitioner和RangePartitioner两种分区策略，这两种分区策略在很多情况下都适合我们的场景。但是有些情况下，Spark内部不能符合咱们的需求，这时候我们就可以自定义分区策略。为此，Spark提供了相应的接口，我们只需要扩展Partition 阅读全文
posted @ 2016-11-28 14:24 大葱拌豆腐 阅读(5288) 评论(0) 推荐(0)