Spark--行动算子

Spark行动算子

所谓的行动算子，其实不会再产生新的RDD，而是触发作业的执行

行动算子执行后，会获取到作业的执行结果。

转换算子不会触发作业的执行，只是功能的扩展和包装。

1)     reduce

• 函数签名

def reduce(f: (T, T) => T): T

• 函数说明

聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

 

// 聚合数据

val reduceResult: Int = rdd.reduce(_+_)

 

2)     collect

• 函数签名

def collect(): Array[T]

• 函数说明

在驱动程序中，以数组Array的形式返回数据集的所有元素

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

 

// 收集数据到Driver

rdd.collect().foreach(println)

 

3)     count

• 函数签名

def count(): Long

• 函数说明

返回RDD中元素的个数

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

 

// 返回RDD中元素的个数

val countResult: Long = rdd.count()

 

 

4)     first

• 函数签名

def first(): T

• 函数说明

返回RDD中的第一个元素

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

 

// 返回RDD中元素的个数

val firstResult: Int = rdd.first()

println(firstResult)

 

5)     take

• 函数签名

def take(num: Int): Array[T]

• 函数说明

返回一个由RDD的前n个元素组成的数组

vval rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

 

// 返回RDD中元素的个数

val takeResult: Array[Int] = rdd.take(2)

println(takeResult.mkString(","))

 

6)     takeOrdered

• 函数签名

def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]

• 函数说明

返回该RDD排序后的前n个元素组成的数组

val rdd: RDD[Int] = sc.makeRDD(List(1,3,2,4))

 

// 返回RDD中元素的个数

val result: Array[Int] = rdd.takeOrdered(2)

 

 

7)     aggregate

• 函数签名

def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U

• 函数说明

分区的数据通过初始值和分区内的数据进行聚合，然后再和初始值进行分区间的数据聚合

val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8)

 

// 将该RDD所有元素相加得到结果

//val result: Int = rdd.aggregate(0)(_ + _, _ + _)

val result: Int = rdd.aggregate(10)(_ + _, _ + _)

 

8)     fold

• 函数签名

def fold(zeroValue: T)(op: (T, T) => T): T

• 函数说明

折叠操作，aggregate的简化版操作

val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))

 

val foldResult: Int = rdd.fold(0)(_+_)

 

9)     countByKey

• 函数签名

def countByKey(): Map[K, Long]

• 函数说明

统计每种key的个数

val rdd: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (1, "a"), (1, "a"), (2, "b"), (3, "c"), (3, "c")))

 

// 统计每种key的个数

val result: collection.Map[Int, Long] = rdd.countByKey()

 

 

10)   save相关算子

• 函数签名

def saveAsTextFile(path: String): Unit

def saveAsObjectFile(path: String): Unit

def saveAsSequenceFile(

  path: String,

  codec: Option[Class[_ <: CompressionCodec]] = None): Unit

• 函数说明

将数据保存到不同格式的文件中

// 保存成Text文件

rdd.saveAsTextFile("output")

 

// 序列化成对象保存到文件

rdd.saveAsObjectFile("output1")

 

// 保存成Sequencefile文件

rdd.map((_,1)).saveAsSequenceFile("output2")

 

11)   foreach

• 函数签名

def foreach(f: T => Unit): Unit = withScope {

    val cleanF = sc.clean(f)

    sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))

}

• 函数说明

分布式遍历RDD中的每一个元素，调用指定函数

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

 

// 收集后打印   foreach方法在Driver端执行

rdd.map(num=>num).collect().foreach(println)

 

println("****************")

 

// 分布式打印   foreach算子 在Excutor端执行

rdd.foreach(println)