2022年3月22日
第五章_Spark核心编程_Rdd_转换算子_Value型_mapPartitionsWithIndex算子
摘要： 1. 说明 /* * 定义 : * def mapPartitionsWithIndex[U: ClassTag]( * f: (Int, Iterator[T]) => Iterator[U], * preservesPartitioning: Boolean = false): RDD[U] = 阅读全文
posted @ 2022-03-22 20:44 学而不思则罔！ 阅读(50) 评论(0) 推荐(0)
第五章_Spark核心编程_Rdd_转换算子_Value型_mapPartitions算子
摘要： 1. 说明 /* * 定义 : * def mapPartitions[U: ClassTag]( * f: Iterator[T] => Iterator[U], * preservesPartitioning: Boolean = false): RDD[U] * 功能 : * 1. 以分区为单 阅读全文
posted @ 2022-03-22 20:20 学而不思则罔！ 阅读(63) 评论(0) 推荐(0)
第五章_Spark核心编程_Rdd_转换算子_Value型_map
摘要： 1. 说明 定义 : def map[U: ClassTag](f: T => U): RDD[U] 功能 : 通过对 RDD的所有元素应用一个函数 返回一个新的RDD 2. 思考 : map算子 和 Rdd分区 间的关系? object MapTestByPartition extends App 阅读全文
posted @ 2022-03-22 19:00 学而不思则罔！ 阅读(59) 评论(0) 推荐(0)
第五章_Spark核心编程_Rdd算子的分类与定义
摘要： 1. 什么是Rdd 算子 rdd的方法 => rdd的算子 => rdd的操作 2. Rdd 算子的分类 1. Transformation(转换) 算子 Transformation 操作是延迟计算的 也就是说 一个RDD转换生成另一个RDD操作时是不会马上执行的,需要等待有Actions操作时, 阅读全文
posted @ 2022-03-22 18:39 学而不思则罔！ 阅读(89) 评论(0) 推荐(0)