摘要：
Spark行动算子 所谓的行动算子，其实不会再产生新的RDD，而是触发作业的执行 行动算子执行后，会获取到作业的执行结果。 转换算子不会触发作业的执行，只是功能的扩展和包装。 1) reduce 函数签名 def reduce(f: (T, T) => T): T 函数说明 聚集RDD中的所有元素， 阅读全文
posted @ 2020-06-07 15:48
垚~垚
阅读(403)
评论(0)
推荐(0)
摘要：
l Key - Value类型 1) partitionBy 函数签名 def partitionBy(partitioner: Partitioner): RDD[(K, V)] 函数说明 将数据按照指定Partitioner重新进行分区。Spark默认的分区器是HashPartitioner v 阅读全文
posted @ 2020-06-07 15:47
垚~垚
阅读(320)
评论(0)
推荐(0)
摘要：
双value 1) intersection 函数签名 def intersection(other: RDD[T]): RDD[T] 函数说明 对源RDD和参数RDD求交集后返回一个新的RDD 保留分区中中较大分区数 val dataRDD1 = sparkContext.makeRDD(List 阅读全文
posted @ 2020-06-07 13:29
垚~垚
阅读(244)
评论(0)
推荐(0)
摘要：
Sparks算子总结： l Value类型 1) map 函数签名 def map[U: ClassTag](f: T => U): RDD[U] //单值处理逻辑 函数说明 将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。 val dataRDD: RDD[Int] = 阅读全文
posted @ 2020-06-07 13:10
垚~垚
阅读(230)
评论(0)
推荐(0)
浙公网安备 33010602011771号