2018年1月26日
Spark中groupBy groupByKey reduceByKey的区别
摘要： groupBy 和SQL中groupby一样，只是后面必须结合聚合函数使用才可以。 例如： groupByKey 对Key Value形式的RDD的操作。 例如(取自 "link" )： reduceByKey 与groupByKey功能一样，只是实现不一样。本函数会先在每个分区聚合然后再进行总的统 阅读全文
posted @ 2018-01-26 17:52 wswang 阅读(3070) 评论(0) 推荐(0) 编辑