案例: 找出变化的行 (高频面试知识点）

开窗函数 + 表的自关联实现
【1】数据  文件test.csv数据如下

ID,CHANGE,NAME
id1,1,a
id1,1,b
id1,1,c
id1,2,d
id1,2,e
id1,1,f
id2,2,g
id2,2,h
id2,1,i
id2,1,j
id2,2,k
id3,1,l
id3,1,m
id3,2,n
id3,3,o
id3,4,p

【2】代码实现

package com.it.baizhan.scalacode.sparksql.examples

import org.apache.spark.sql.SparkSession

/**
  * 案例： 找出变化的行  （高频面试知识点）
  *   开窗函数 + 表的自关联实现
  */
object FindChangeInfos {
  def main(args: Array[String]): Unit = {
    val session = SparkSession.builder().master("local").appName("test").getOrCreate()
    session.sparkContext.setLogLevel("Error")
    val frame = session.read.option("header",true).csv("./data/test.csv")
    frame.createTempView("temp")
    session.sql(
      """
        |select id,change,name,row_number() over(partition by id order by name ) as rank
        |from temp
      """.stripMargin).createTempView("t")

    /**
     * +---+------+----+----+
     * | id|change|name|rank|
     * +---+------+----+----+
     * |id3|     1|   l|   1|
     * |id3|     1|   m|   2|
     * |id3|     2|   n|   3|
     * |id3|     3|   o|   4|
     * |id3|     4|   p|   5|
     * |id1|     1|   a|   1|
     * |id1|     1|   b|   2|
     * |id1|     1|   c|   3|
     * |id1|     2|   d|   4|
     * |id1|     2|   e|   5|
     * |id1|     1|   f|   6|
     * |id2|     2|   g|   1|
     * |id2|     2|   h|   2|
     * |id2|     1|   i|   3|
     * |id2|     1|   j|   4|
     * |id2|     2|   k|   5|
     * +---+------+----+----+
     */
    session.sql(
      """
        | select a.id,a.change,a.name
        | from t a join t b on a.id = b.id
        | where a.change != b.change and a.rank = b.rank-1
      """.stripMargin).show()
  }

  /**
   * +---+------+----+
   * | id|change|name|
   * +---+------+----+
   * |id3|     1|   m|
   * |id3|     2|   n|
   * |id3|     3|   o|
   * |id1|     1|   c|
   * |id1|     2|   e|
   * |id2|     2|   h|
   * |id2|     1|   j|
   * +---+------+----+
   */

}