Loading

RDD的创建

从集合(内存)中创建 RDD

从底层代码实现来讲,makeRDD 方法其实就是 parallelize 方法

val sparkConf =
new SparkConf().setMaster("local[*]").setAppName("spark")
val sparkContext = new SparkContext(sparkConf)
val rdd1 = sparkContext.parallelize(
List(1,2,3,4)
)
val rdd2 = sparkContext.makeRDD(
List(1,2,3,4)
)
rdd1.collect().foreach(println)
rdd2.collect().foreach(println)
sparkContext.stop()
def makeRDD[T: ClassTag](
seq: Seq[T],
numSlices: Int = defaultParallelism): RDD[T] = withScope {
parallelize(seq, numSlices)
}
posted @ 2022-01-09 19:41  Zhbeii  阅读(53)  评论(0)    收藏  举报