spark小案例实战3（scala + spark2 版本）

需求：

对每个班级内的学生成绩，取出前3名。（分组取topn） 

实现步骤： 

• 遍历每组，获取每组的成绩
• 将一组成绩转换成一个数组缓冲
• 将数组缓冲按从大到小排序
• 对排序后的数组缓冲取其前三
• 打印输出

object GroupTop3 {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().appName("GroupTop3").master("local").getOrCreate()
    //创建初始RDD
    val lines = spark.sparkContext.textFile("D:\\score.txt")
    //对初始RDD的文本行按空格分割，映射为key-value键值对
    val pairs = lines.map(line => (line.split(" ")(0), line.split(" ")(1).toInt))
    //对pairs键值对按键分组
    val groupedPairs = pairs.groupByKey()
    //获取分组后每组前3的成绩
    val top3Score = groupedPairs.map(classScores => {
      var className = classScores._1
      //获取每组的成绩，将其转换成一个数组缓冲,并按从大到小排序，取其前三
      var top3 = classScores._2.toBuffer.sortWith(_>_).take(3)
      Tuple2(className,top3)
    })
    top3Score.foreach(m => {
      println(m._1)
      for(s <- m._2) println(s)
      println("------------------")
    })
  }