随笔分类 -  Spark

摘要:大部分内容来自于知乎博主 但其举的例子不是很恰当,后续查询简书博主 所讲的。 后面两幅图是我对上面两位博主知识的理解 所画 combineByKey[C] ( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C 阅读全文
posted @ 2022-04-26 15:05 取我方天画戟来 阅读(68) 评论(0) 推荐(0)
摘要:内容来源于: 知乎博主 后面两个图是我对博主所讲知识的理解 以及计算流程展示 首先,对于reduce和fold来说都有一个要求就是: 返回值的类型必须和rdd的数据类型相同。 比如数据的类型是int,那么返回的结果也要是int。 但是对于有些场景这个是不适用的, 比如我们想求平均,我们需要知道ter 阅读全文
posted @ 2022-04-25 18:14 取我方天画戟来 阅读(45) 评论(0) 推荐(0)