2022年3月15日
RDD的转换
摘要： 常用的RDD转换算子 1.map(func)，对数据集中的每个元素都使用func，然后返回一个新的rdd scala> val rdd1 = sc.makeRDD(1 to 10) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD 阅读全文
posted @ 2022-03-15 23:13 NeilCheung514 阅读(377) 评论(0) 推荐(0)
RDD的创建
摘要： RDD的几种创建方式 1.parallelize，可指定分区数 scala> val rdd1 = sc.parallelize(1 to 10) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[14] at paralleli 阅读全文
posted @ 2022-03-15 21:52 NeilCheung514 阅读(170) 评论(0) 推荐(0)