spark--actions算子--first

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by liupeng on 2017/6/16.
  */
object A_first {
  System.setProperty("hadoop.home.dir","F:\\hadoop-2.6.5")

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("first_test").setMaster("local")
    val sc = new SparkContext(conf)
    //first返回数据集的第一个元素,类似于take(1)
    val nameList : List[Int] = List(1,2,3,4,5)
    val numbers = sc.parallelize(nameList)
    val num = numbers.first()
    println(num)

    val nums = numbers.take(1)
    for (n <- nums)
    {
      println(n)
    }
    //如果n大于总数,则会返回所有的数据
    val nums1 = numbers.take(8)
    for (n <- nums1)
    {
      println(n)
    }
    //如果n小于等于0,会返回空数组
    val nums2 = numbers.take(-1)
    for (n <- nums2)
    {
      println(n)
    }
  }
}
运行结果:
1
1
12345



posted @ 2017-07-12 14:36  书灯  阅读(14)  评论(0)    收藏  举报  来源