Fork me on GitHub
2018年1月6日
Spark算子篇 --Spark算子之aggregateByKey详解
摘要： 一。基本介绍 rdd.aggregateByKey(3, seqFunc, combFunc) 其中第一个函数是初始值 3代表每次分完组之后的每个组的初始值。 seqFunc代表combine的聚合逻辑 每一个mapTask的结果的聚合成为combine combFunc reduce端大聚合的逻辑 阅读全文
posted @ 2018-01-06 23:00 L先生AI课堂 阅读(8408) 评论(1) 推荐(1) 编辑