随笔分类 - Spark
摘要:大部分内容来自于知乎博主 但其举的例子不是很恰当,后续查询简书博主 所讲的。 后面两幅图是我对上面两位博主知识的理解 所画 combineByKey[C] ( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C
阅读全文
摘要:内容来源于: 知乎博主 后面两个图是我对博主所讲知识的理解 以及计算流程展示 首先,对于reduce和fold来说都有一个要求就是: 返回值的类型必须和rdd的数据类型相同。 比如数据的类型是int,那么返回的结果也要是int。 但是对于有些场景这个是不适用的, 比如我们想求平均,我们需要知道ter
阅读全文

浙公网安备 33010602011771号